【YOLOv11多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

一、本文介绍

本文记录的是利用自研 频率域相位融合与幅度谱修复结合 模块改进YOLOv11的可见光-红外双模态目标检测。

PIM(Phase Integration Module)通过频率域相位融合与幅度谱修复结合,实现YOLOv11跨模态场景下目标结构特征的精准重构与模态互补增强。本文利用PIM模块,通过FFT分解可见光与红外模态特征的频率组件,再通过相位谱线性融合与幅度谱修复强化跨模态结构信息,同时依托池化预处理提升特征鲁棒性,对YOLOv11中复杂场景下的目标边缘与细节特征进行针对性增强、抑制模态差异导致的特征表达不足干扰,在特征提取阶段实现跨模态的结构信息互补,避免传统单模态特征提取的鲁棒性不足问题,增强模型在复杂环境下的跨模态目标检测精度与场景适应性。


专栏目录:《多模态模型改进》目录一览 | 专栏介绍 ,多模态的全方位改进,提供多模态模型改进完整项目包-开箱即用

专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!


二、MM_PIM介绍

2.1 设计出发点

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。PIM通过融合红外模态特征的相位谱与可见光模态特征的幅度谱,在频率域引导双模态特征重构完整目标结构,同时避免模态直接融合带来的特征冲突,为后续跨模态目标检测提供高质量结构特征。

2.2 模块结构

PIM以频率域跨模态特征交互为核心,整体流程简洁且计算高效,核心构成如下:

  1. 特征预处理:对可见光分支特征执行平均池化(平滑光照噪声、保留目标全局结构),对红外分支特征执行最大池化(强化目标热区激活值、提升复杂背景下的鲁棒性);
  2. 频率域分解:通过快速傅里叶变换(FFT)将两类预处理后的模态特征转换至频率域,分离出幅度谱( A v i s \mathcal{A}_{vis}
YOLOv改进 | YOLOv11引入CAFMFusion高频与低频特征融合模块 本文提出在YOLOv11中引入CAFMFusion模块,通过通道自适应机制和高低频特征融合,提升复杂场景下的目标检测性能。CAFMFusion采用双分支结构分别提取高频细节(边缘、纹理)和低频语义(整体轮廓),结合动态调制因子实现特征优化。实验表明,该模块显著改善了小目标检测精度(提升5.2%AP)和低对比度场景的鲁棒性,适用于无人机航拍、显微镜图像等任务。代码实现基于PyTorch,可灵活集成到YOLOv11骨干网络中。 阅读详情

相关推荐

《多模态融合改进》目录一览 | 专栏介绍 :全网 第一份 完整的多模态改进教程,提供《多模态模型改进完整项目包》-开箱即用

在大家订阅专栏后,便可获得多模态模型改进完整项目包-开箱即用,方便简单

Limiiiing的博客 1万+

【YOLOv11多模态融合改进】| CAFM:通道 - 空间交叉注意力机制 | 动态捕捉跨模态特征的重要性,抑制冗余信息

本文记录的是利用 CAFM 模块改进 YOLOv11 的多模态目标检测网络模型。通过在特征融合阶段引入通道 - 空间交叉注意力机制,动态生成跨子网特征融合权重。该模块可自适应捕捉像素级与超像素级特征的语义关联,抑制无关背景干扰,实现高层语义与空间结构的深度交互与互补增强,为检测任务提供跨模态的精准特征表示,从而提升模型在不同模态场景下的分类准确性与鲁棒性。Attention Multihop Graph and Multiscale Convolutional Fusion Network for Hype

Limiiiing的博客 960

YOLOv11【第三章:高阶应用与落地篇·第11节】TensorRT加速部署实战!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 575

【YOLOv11多模态融合改进】| CVPR 2024 MFM(Modulation Fusion Module,调制融合模块):动态特征加权融合,突出关键特征抑制冗余

本文记录的是利用DCMPNet中的 MFM 模块改进 YOLOv11 的多模态融合部分。模块通过动态调制特征融合过程,实现了对多尺度、跨层级特征的智能聚合。将其应用于的改进过程中,针对目标检测中边界特征与语义信息的互补性需求,缓解网络中浅层细节与深层语义融合不足的问题。Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing在图像去雾网络中,不同层级和类型的特征包含着互补的信息(如浅

Limiiiing的博客 804

【YOLOv11多模态融合改进】| IEEE2025 分层特征融合模块HFF 自适应权重 + 三重注意力,强化弱小目标细节保留

红外弱小目标尺寸极小、信噪比低,浅层细节特征与深层语义特征对检测贡献差异巨大;传统特征融合(如拼接、逐元素相加)不考虑不同层级特征的重要性权重,易丢失弱小目标细节、引入背景噪声,导致检测/分割精度不足。因此设计分层特征融合模块 HFF,自适应学习跨层特征权重,强化对红外小目标有用的信息。

Limiiiing的博客 896

【YOLOv11多模态融合改进】在前期、中期、中后期、后期多模态融合中添加P2小目标检测层,完整步骤及代码

主题: YOLOv11的多模态融合改进中增加P2小目标检测层方式: 分别在前期融合、中期融合、中-后期融合、后期融合中增加P2多模态融合检测层。内容: 包含融合方式详解以及完整配置步骤,开箱即用,一键运行。原始模型结构如下: 二、有效特征层对应的检测头类别 2.1 P3/8 - small检测头 原始模型中的对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大,空间分辨率较高。 适合检测尺寸大概在到像素左右的目标。 2.2 P4/16 - medium检测头 这个检测头对应的经过了更多的下采样

Limiiiing的博客 1293

【YOLOv11多模态融合改进】| AAAI 2025 颜色增强模块CEM 双色引导保真色 + 轻量调制提对比度,强化雾天检测,适配多模态图像信息融合

CEM(Color Enhancement Module,颜色增强模块)旨在解决雾天图像RGB颜色失真、色度信息弱、色调不一致的问题。RGB空间在雾霾下亮度被干扰、颜色特征模糊,而YCbCr空间的色度分量对雾霾不敏感,能保留更纯净的颜色信息。CEM通过提取YCbCr的色度特征来调制RGB特征,在不进行颜色空间转换的前提下,恢复自然色调、增强颜色感知,让去雾后的图像色彩更准确、对比度更自然。

Limiiiing的博客 426

【YOLOv12多模态融合改进】| Arxiv 2024 DEYOLO:利用双增强机制和双向解耦聚焦模块,构建跨模态特征融合与单模态优化的完整框架

本文记录的是利用DEYOLO中的多模态融合模块改进 YOLOv12 的多模态融合部分。针对RGB和红外多模态目标检测任务设计了双特征增强机制,通过DECA(双语义增强通道权重分配模块)、DEPA(双空间增强像素权重分配模块)和双向解耦聚焦模块(Bi-direction Decoupled Focus)实现跨模态特征融合与单模态特征优化,有效解决多模态检测中的信息互补与干扰抑制问题。DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object

Limiiiing的博客 1241

AI编程实战:YOLO11道路坑洼检测实战,从数据集准备到模型训练与结果分析(附完整Prompt)

Prompt 9:使用 best.pt 进行检测现在我已经完成 YOLO11 道路坑洼检测模型训练。训练得到的最佳权重文件路径为:xxxxxx请根据当前项目实际路径,帮我编写一个自定义模型图片检测脚本。要求:1. 加载刚刚训练得到的 best.pt;2. 支持指定单张图片进行检测;3. 支持指定图片文件夹进行检测;4. 使用 YOLO11 目标检测接口;5. 保存检测结果;6. 输出检测结果图片的保存路径;7. 不要修改原始图片;

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 58

YOLO训练调优与问题诊断实战,从损失震荡到mAP异常的全链路排查

本文系统梳理YOLO训练中的常见问题,构建从现象到根因的诊断框架,涵盖损失不降、mAP异常、震荡与NaN等典型故障。通过监控梯度范数、正样本分布、特征图等关键信号,结合控制变量法,精准定位数据标注、学习率、增强策略、优化器配置等问题。重点解析学习率调度、梯度裁剪、EMA、混合精度训练等调优技巧,提供可复用的排查checklist与PyTorch监控代码,助力实现高效、稳定的模型训练。

QQ_778132974的博客 29

立创·庐山派-K230-CanMV(嘉楠勘智)开发板通过ATK-ESP8266实现图像识别数据无线传输至原子云

本文详细介绍了如何使用立创·庐山派-K230-CanMV开发板,通过ATK-ESP8266 WIFI模块实现图像识别数据的无线传输至原子云平台。内容包括硬件连接、软件环境搭建、AT指令控制、原子云连接及数据上传的全过程,并提供了实用的调试技巧和常见问题解决方案,为物联网应用开发提供了完整实践指南。

potato的博客 746

UE4_SpeedTree Shader源码分析

目录 1.UMaterialExpressionSpeedTree::Compile 2.Compiler->SpeedTree 3.GetSpeedTreeVertexOffset 4.Scene中的SpeedTree应用 (Scene->UpdateSpeedTreeWind) 5.GetSpeedTreeVertexOffsetInner 由于之后做风场,也需要在S...

zzgyy123的专栏 2635

全同态加密:CKKS

不论是 LSB 编码的 BGV,还是 MSB 编码的 BFV,它们的同态运算都是对 $\mathbb Z_t$ 上明文的**精确计算**,因为**密文中的明文空间和噪声空间是分离的**。例如,在 BGV 中是 $te+m$,在 BFV 中是 $\delta m+e$。但是,这种精确计算是在同余意义下的,如果将明文视为实数,那么实际上同态运算时的噪声破坏了明文的 MSB $\lfloor m/t \rfloor$,仅保留了 LSB $[m]_t$,

weixin_44885334的博客 7553

SolidWorks + AI:利用 DeepSeek AI 自动生成 VBA Macro 宏,实现智能化建模!

本教程介绍如何将集成到插件,实现的自动化操作。通过 DeepSeek AI,您可以快速生成高效的,提升!💡。

SolidWorksAPI的专栏 1万+

MODTRAN5.2.1安装配置

MODTRAN5.2.1安装配置

Home 4299

2022李宏毅作业hw1—新冠阳性人员数量预测。

从非常基础的内容开始,主要是我的水平也很基础。

YI_SHU_JIA的博客 1万+

RK3588开发笔记-Buildroot编译host-nodejs报错解决ModuleNotFoundError: No module named ‘_bz2‘

在RK3588的开发过程中,使用Buildroot进行系统的构建和编译是一个常见的选择。然而,在编译host-nodejs的过程中,有时会遇到报错信息提示。这个错误通常是由于Python环境中缺少相应的模块导致的。以下将记录我解决这个问题的过程。。在RK3588的开发过程中,使用Buildroot编译host-nodejs时遇到的错误,通常是由于缺少相应的Python模块导致的。通过配置buildroot pythong bzip2开发库并重新编译,可以解决这个问题。

flypig has a dream! 902

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 【YOLOv11多模态融合改进】| 自研 多模态通道重排序与分层子空间拆分结合模块:MM_HMHA,适配多模态图像信息融合
下一篇: 【YOLOv12多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合
Limiiiing
博客等级 码龄8年 2万+粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址