【YOLOv8多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

一、本文介绍

本文记录的是利用自研 频率域相位融合与幅度谱修复结合 模块改进YOLOv8的可见光-红外双模态目标检测。

PIM(Phase Integration Module)通过频率域相位融合与幅度谱修复结合,实现YOLOv8跨模态场景下目标结构特征的精准重构与模态互补增强。本文利用PIM模块,通过FFT分解可见光与红外模态特征的频率组件,再通过相位谱线性融合与幅度谱修复强化跨模态结构信息,同时依托池化预处理提升特征鲁棒性,对YOLOv8中复杂场景下的目标边缘与细节特征进行针对性增强、抑制模态差异导致的特征表达不足干扰,在特征提取阶段实现跨模态的结构信息互补,避免传统单模态特征提取的鲁棒性不足问题,增强模型在复杂环境下的跨模态目标检测精度与场景适应性。


专栏目录:《多模态模型改进》目录一览 | 专栏介绍 ,多模态的全方位改进,提供多模态模型改进完整项目包-开箱即用

专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!


二、MM_PIM介绍

2.1 设计出发点

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。PIM通过融合红外模态特征的相位谱与可见光模态特征的幅度谱,在频率域引导双模态特征重构完整目标结构,同时避免模态直接融合带来的特征冲突,为后续跨模态目标检测提供高质量结构特征。

2.2 模块结构

PIM以频率域跨模态特征交互为核心,整体流程简洁且计算高效,核心构成如下:

  1. 特征预处理:对可见光分支特征执行平均池化(平滑光照噪声、保留目标全局结构),对红外分支特征执行最大池化(强化目标热区激活值、提升复杂背景下的鲁棒性);
  2. 频率域分解:通过快速傅里叶变换(FFT)将两类预处理后的模态特征转换至频率域,分离出幅度谱( A v i s \mathcal{A}_{vis}
【YOLOv11多模态融合改进】在前期、中期、中后期、后期多模态融合中添加P2小目标检测层,完整步骤及代码 主题: YOLOv11的多模态融合改进中增加P2小目标检测层方式: 分别在前期融合、中期融合、中-后期融合、后期融合中增加P2多模态融合检测层。内容: 包含融合方式详解以及完整配置步骤,开箱即用,一键运行。原始模型结构如下: 二、有效特征层对应的检测头类别 2.1 P3/8 - small检测头 原始模型中的对应的检测头主要用于检测相对较小的目标。其特征图大小相对较大,空间分辨率较高。 适合检测尺寸大概在到像素左右的目标。 2.2 P4/16 - medium检测头 这个检测头对应的经过了更多的下采样 阅读详情

相关推荐

【YOLOv11多模态融合改进】| CVPR 2024 MFM(Modulation Fusion Module,调制融合模块):动态特征加权融合,突出关键特征抑制冗余

本文记录的是利用DCMPNet中的 MFM 模块改进 YOLOv11 的多模态融合部分。模块通过动态调制特征融合过程,实现了对多尺度、跨层级特征的智能聚合。将其应用于的改进过程中,针对目标检测中边界特征与语义信息的互补性需求,缓解网络中浅层细节与深层语义融合不足的问题。Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing在图像去雾网络中,不同层级和类型的特征包含着互补的信息(如浅

Limiiiing的博客 804

【YOLOv11多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。

Limiiiing的博客 172

【YOLOv13多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。

Limiiiing的博客 77

【YOLOv12多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。

Limiiiing的博客 84

【YOLOv10多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合

PIM(Phase Integration Module,相位整合模块)是Cross-Modality Guidance Bridge(CMGB,跨模态引导桥)的核心组件,旨在解决可见光-红外双模态检测中“单一模态特征表达不完整、模态间结构信息难以融合”的问题。其核心设计逻辑基于两大关键观察:一是红外模态受光照、天气等环境干扰更小,能保留更清晰的目标轮廓与结构信息;二是图像的相位谱比幅度谱更能传递结构细节,且对不同模态的特征差异和噪声更鲁棒。

Limiiiing的博客 88

《多模态融合改进》目录一览 | 专栏介绍 :全网 第一份 完整的多模态改进教程,提供《多模态模型改进完整项目包》-开箱即用

在大家订阅专栏后,便可获得多模态模型改进完整项目包-开箱即用,方便简单

Limiiiing的博客 1万+

YOLOv11【第三章:高阶应用与落地篇·第11节】TensorRT加速部署实战!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 575

【YOLOv11多模态融合改进】| IEEE2025 分层特征融合模块HFF 自适应权重 + 三重注意力,强化弱小目标细节保留

红外弱小目标尺寸极小、信噪比低,浅层细节特征与深层语义特征对检测贡献差异巨大;传统特征融合(如拼接、逐元素相加)不考虑不同层级特征的重要性权重,易丢失弱小目标细节、引入背景噪声,导致检测/分割精度不足。因此设计分层特征融合模块 HFF,自适应学习跨层特征权重,强化对红外小目标有用的信息。

Limiiiing的博客 896

【YOLOv11多模态融合改进】| CAFM:通道 - 空间交叉注意力机制 | 动态捕捉跨模态特征的重要性,抑制冗余信息

本文记录的是利用 CAFM 模块改进 YOLOv11 的多模态目标检测网络模型。通过在特征融合阶段引入通道 - 空间交叉注意力机制,动态生成跨子网特征融合权重。该模块可自适应捕捉像素级与超像素级特征的语义关联,抑制无关背景干扰,实现高层语义与空间结构的深度交互与互补增强,为检测任务提供跨模态的精准特征表示,从而提升模型在不同模态场景下的分类准确性与鲁棒性。Attention Multihop Graph and Multiscale Convolutional Fusion Network for Hype

Limiiiing的博客 960

YOLOv改进 | YOLOv11引入CAFMFusion高频与低频特征融合模块

本文提出在YOLOv11中引入CAFMFusion模块,通过通道自适应机制和高低频特征融合,提升复杂场景下的目标检测性能。CAFMFusion采用双分支结构分别提取高频细节(边缘、纹理)和低频语义(整体轮廓),结合动态调制因子实现特征优化。实验表明,该模块显著改善了小目标检测精度(提升5.2%AP)和低对比度场景的鲁棒性,适用于无人机航拍、显微镜图像等任务。代码实现基于PyTorch,可灵活集成到YOLOv11骨干网络中。

走向CTO的路上... 1338

【YOLOv11多模态融合改进】| AAAI 2025 颜色增强模块CEM 双色引导保真色 + 轻量调制提对比度,强化雾天检测,适配多模态图像信息融合

CEM(Color Enhancement Module,颜色增强模块)旨在解决雾天图像RGB颜色失真、色度信息弱、色调不一致的问题。RGB空间在雾霾下亮度被干扰、颜色特征模糊,而YCbCr空间的色度分量对雾霾不敏感,能保留更纯净的颜色信息。CEM通过提取YCbCr的色度特征来调制RGB特征,在不进行颜色空间转换的前提下,恢复自然色调、增强颜色感知,让去雾后的图像色彩更准确、对比度更自然。

Limiiiing的博客 426

【YOLOv12多模态融合改进】| Arxiv 2024 DEYOLO:利用双增强机制和双向解耦聚焦模块,构建跨模态特征融合与单模态优化的完整框架

本文记录的是利用DEYOLO中的多模态融合模块改进 YOLOv12 的多模态融合部分。针对RGB和红外多模态目标检测任务设计了双特征增强机制,通过DECA(双语义增强通道权重分配模块)、DEPA(双空间增强像素权重分配模块)和双向解耦聚焦模块(Bi-direction Decoupled Focus)实现跨模态特征融合与单模态特征优化,有效解决多模态检测中的信息互补与干扰抑制问题。DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object

Limiiiing的博客 1241

AI编程实战:YOLO11道路坑洼检测实战,从数据集准备到模型训练与结果分析(附完整Prompt)

Prompt 9:使用 best.pt 进行检测现在我已经完成 YOLO11 道路坑洼检测模型训练。训练得到的最佳权重文件路径为:xxxxxx请根据当前项目实际路径,帮我编写一个自定义模型图片检测脚本。要求:1. 加载刚刚训练得到的 best.pt;2. 支持指定单张图片进行检测;3. 支持指定图片文件夹进行检测;4. 使用 YOLO11 目标检测接口;5. 保存检测结果;6. 输出检测结果图片的保存路径;7. 不要修改原始图片;

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 58

python:numpy分享(保姆级教程)

创建数组:array和ndarray、rand()、randn()、arange()、randint()、uniform()astype()基础函数:ceil()、floor()、rint()、argmax()、argmin()、cumsum()、cumprod()numpy 是数据分析必不可少的第三方库,具有高性能的特点,多用于做数组分析。内置函数:ceil()、floor()、rint()主要用于数组计算,支持多维数组。array和ndarray。比较函数:all、any。去重函数:unique。

sulin123123的博客 1742

Flightmare实战:从零搭建强化学习无人机控制环境

本文详细介绍了从零开始搭建Flightmare强化学习无人机控制环境的完整流程。内容包括环境准备、核心库安装、依赖冲突解决,以及如何运行PPO算法示例进行训练与可视化测试。文章还提供了环境配置、自定义任务修改及常见问题的避坑指南,帮助开发者快速上手这一模块化的无人机RL仿真平台。

weixin_29081101的博客 357

【5G演进】4G到5G演进之网络架构与协议栈

4G到5G演进之网络架构与协议栈

Learning makes me happy (0^◇^0) 5543

TensorRT-LLM环境配置避坑指南:从安装到实战

本文是一份详尽的TensorRT-LLM环境配置避坑指南。文章重点解析了从Python、CUDA、PyTorch版本选择,到解决mpi4py安装这一核心难题的完整流程,并提供了经过验证的稳定版本组合与实战排错方案,帮助开发者高效部署大语言模型推理优化环境。

a0b1c2d3的专栏 988

Abaqus复合材料层合板仿真

由于复合材料的损伤失效问题过于复杂,解析方法受到数学工具的限制难以实现,而实验也需要高昂的费用和时间成本难以广泛应用,Abaqus针对复合材料提供了专业的建模工具和损伤分析理论来模拟复合材料层合板在各种工况下的失效行为。

JXHXHL的博客 2544

光学测量仿真软件:OpticsBuilder_(9).热应力分析与补偿

在OpticsBuilder中,定义材料的热膨胀系数可以通过API进行。以下是一个Python代码示例,展示如何在OpticsBuilder中定义材料的热膨胀系数。

kkchenjj的博客 1087

UFAST车道线检测 Ultra-Fast-Lane-Detection 从环境搭建到复现完成(一)

UFAST车道线检测 Ultra-Fast-Lane-Detection 从环境搭建到复现完成(一)

m0_46364958的博客 4345

ROS从入门到精通0-4:VSCode 搭建 ROS 工程环境

为了提高开发效率,可以先安装集成开发工具和使用方便的工具,本教程用VSCode搭建ROS工程环境

FRIGIDWINTER的博客 1万+

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: 【YOLOv8多模态融合改进】| 自研 多模态通道重排序与分层子空间拆分结合模块:MM_HMHA,适配多模态图像信息融合
下一篇: 【YOLOv10多模态融合改进】| 自研 多模态频率域相位融合与幅度谱修复结合模块:MM_PIM,适配多模态图像信息融合
Limiiiing
博客等级 码龄8年 2万+粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址