一、本文介绍
本文记录的是利用分层特征融合模块HFFE改进YOLOv13的可见光-红外双模态目标检测。
HFFE(Hierarchical Feature Fusion Encoder)通过可见光-红外特征分辨率对齐、空间注意力模态筛选与坐标注意力位置编码结合,自适应完成深浅层双模态特征加权交互,打通可见光纹理与红外热辐射信息融合通路。本文利用HFFE模块,先通过双线性插值统一不同层级可见光、红外特征空间尺度,再借助空间注意力分别滤除两类模态无关背景,生成跨模态空间权重矩阵动态分配模态特征贡献,依托坐标注意力留存多模态小目标空间位置信息,针对性增强红外弱小目标热特征与可见光轮廓纹理,同步抑制可见光杂波、红外热云无效背景干扰,在编码器分层融合阶段实现双模态细节与全局热语义高效互补,解决传统单尺度拼接带来的模态语义错位问题,大幅提升复杂暗光、海面云层场景下多模态红外小目标检测精度。
文章目录
二、HFFE介绍
2.1 设计出发点
可见光模态富含纹理、边缘细节,但低照度、云雾场景目标对比度极低;红外模态突出热辐射弱小目标,但缺失场景纹理与空间轮廓。传统同尺度跳跃连接仅简单拼接两类模态单层特征,存在三大缺陷:
- 高低层级、双模态特征语义鸿沟大,直接融合会引入可见光杂波与红外背景噪声;
- 无法自适应区分可见光纹理特征、红外热目标特征的贡献度,弱小目标易被可见光细节淹没;
- 缺少跨层级、跨模态双向交互,不能同步聚合浅层多模态细节与深层全局热语义。
因此设计HFFE,依托空间+坐标双注意力实现可见光-红外多模态分层自适应融合,对齐不同尺度双模态特征、区分模态专属有效信息,抑制两类模态冗余背景干扰。
2.2 模块结构
HFFE(Hierarchical Feature Fusion Encoder)分层特征融合编码器:
- 多模态分辨率对齐:输入可见光浅层细节特征、红外深层语义特征,对高层红外特征双线性上采样匹配浅层可见光尺寸,消除模态尺度差;
- 双注意力精炼:分别对可见光、红外特征执行空间注意力SAM过滤背景,再生成跨模态空间权重矩阵SWM双向加权;
- 坐标注意力跨模态关联:编码可见光轮廓、红外热目标横竖空间位置,保留多模态小目标定位信息;
- 分层融合输出
订阅专栏 解锁全文
58



被折叠的 条评论
为什么被折叠?



