一、本文介绍
本文记录的是利用自研 频率域相位融合与幅度谱修复结合 模块改进YOLOv11的可见光-红外双模态目标检测。
PIM(Phase Integration Module)通过频率域相位融合与幅度谱修复结合,实现YOLOv11跨模态场景下目标结构特征的精准重构与模态互补增强。本文利用PIM模块,通过FFT分解可见光与红外模态特征的频率组件,再通过相位谱线性融合与幅度谱修复强化跨模态结构信息,同时依托池化预处理提升特征鲁棒性,对YOLOv11中复杂场景下的目标边缘与细节特征进行针对性增强、抑制模态差异导致的特征表达不足干扰,在特征提取阶段实现跨模态的结构信息互补,避免传统单模态特征提取的鲁棒性不足问题,增强模型在复杂环境下的跨模态目标检测精度与场景适应性。
文章目录
二、MM_PIM介绍
2.1 设计出发点
PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。PIM通过融合红外模态特征的相位谱与可见光模态特征的幅度谱,在频率域引导双模态特征重构完整目标结构,同时避免模态直接融合带来的特征冲突,为后续跨模态目标检测提供高质量结构特征。
2.2 模块结构
PIM以频率域跨模态特征交互为核心,整体流程简洁且计算高效,核心构成如下:
- 特征预处理:对可见光分支特征执行平均池化(平滑光照噪声、保留目标全局结构),对红外分支特征执行最大池化(强化目标热区激活值、提升复杂背景下的鲁棒性);
- 频率域分解:通过快速傅里叶变换(FFT)将两类预处理后的模态特征转换至频率域,分离出幅度谱( A v i s \mathcal{A}_{vis}
订阅专栏 解锁全文
1万+



被折叠的 条评论
为什么被折叠?



