一、本文介绍
本文记录的是利用多模态轻量化自适应融合模块(MM-LAE)优化RT-DETR多模态目标检测网络模型。
MM-LAE (Multi-Modal Lightweight Adaptive Extraction) 完全保留原始LAE的轻量化核心设计,在不增加额外参数与计算成本的前提下,通过多模态独立特征提取与自适应加权融合,既能精准捕捉每种模态的专属语义信息(如可见光细节、红外热轮廓),又能实现跨模态特征协同增强,克服了传统单模态提取与简单融合方法难以兼顾多模态优势、易受模态噪声干扰的问题,并能强化多模态场景下ROI的联合特征表达。
文章目录
二、用于多模态的MM_LAE模块介绍
2.1 设计出发点
- 减少参数和计算成本:在多尺度特征提取中,相较于传统卷积方法,旨在降低参数数量和计算成本,同时提取具有更丰富语义信息的特征。
- 保留局部信息:传统卷积过程中边缘和角落的像素信息易丢失,而这些局部信息在医学成像中对表示ROI目标和周围区域的隐含信息尤为重要。同时,特征图中相邻像素间存在信息差异,包含目标的像素信息熵高于相邻像素,所以希望在采样过程中保留信息含量高的像素。
- 解决卷积局限性:考虑到卷积操作的局部性难以捕捉全局信息且计算复杂,参考了Focus的概念,但因Focus的切片操作计算成本高不符合轻量化处理目标,所以在此基础上进行改进。
2.2 原理
- 通过设计两个共享参数的并行分支,采用组卷积的概念高效地将输入映射到输出维度,利用N组组卷积使参数数量相比传统卷积减少到1/N。
- 每个LAE单元实现四倍下采样(高度和宽度都缩小为原来的1/2)。在采样过程中,为缓解边缘信息丢失问题,先将特征图的高度和宽度信息保存到通道中,使特征图维度从四维(batch, channel, height, weight)变为五维(batch, channel, height, weight, n),其中‘n’表示采样因子。
- 自适应提取路径通过平均池化和卷积交换信息,对特征图按四个相邻像素(如左
订阅专栏 解锁全文
9万+



被折叠的 条评论
为什么被折叠?



