一、本文介绍
本文记录的利用改进的多模态空频选择卷积模块优化YOLOv13的可见光-红外双模态目标检测。。
MM_SFS(Space-Frequency Selection Convolution)通过空频分流机制与无参数自适应选择结合,实现可见光和红外图像再YOLOv13特征提取中空间上下文与频率纹理的双域信息互补。本文利用MM_SFS模块,通过SPU动态扩展感受野捕捉可见光多尺度目标上下文,再通过FPU的分数伽柏核提取红外高频纹理并抑制噪声,同时依托CSU无参数加权融合保留关键特征,对场景的目标特征进行针对性强化、抑制斑点噪声与背景 clutter 干扰,在特征提取阶段实现空频双域信息的高效融合,避免传统卷积的特征冗余与单域信息局限,增强模型在复杂场景下的目标检测精度与轻量化部署能力。
文章目录
二、SFS-Conv介绍
2.1 设计出发点
MM-SFS-Conv(Multi-Modal Space-Frequency Selection Convolution,多模态空频选择卷积)在原SFS-Conv基础上,针对多源SAR/光学/红外等多模态目标检测场景的核心痛点优化设计:传统单模态空频特征提取无法有效融合不同模态的互补信息,且多模态数据存在模态异质性(如SAR的散射特性、光学的纹理特性)、噪声分布差异等问题,单一分支的特征提取难以适配多模态协同检测需求。该模块在保留“分流-感知-选择”核心策略的基础上,新增多模态自适应融合机制,为每个模态设计独立的空频特征提取分支,通过注意力加权融合多模态的空间域上下文与频率域纹理特征,在控制模型参数和计算量的前提下,充分挖掘跨模态互补信息,适配轻量化多模态SAR目标检测的部署需求。
2.2 模块结构
MM-SFS-Conv核心由多模态分流单元、双分支空频感知单元、跨模态选择融合单元三大模块构成,遵循“分模态感知-跨模态选择-空频融合”的递进逻辑:
- 多模态分流阶段:接收两个模态的输入特征图(如SAR模态 X 1 X_1
订阅专栏 解锁全文
314



被折叠的 条评论
为什么被折叠?



