【多模态实验总结】整理了几十篇文章,理清 多模态目标检测 在写论文中需要做哪些实验

YOLO多模态融合改进
专栏收录该内容
¥129.90
¥299.90
219 篇文章

前言

对于新手或者接触了一段时间的多模态目标检测的人来说,可能对这类论文需要做哪些实验还不是很清晰。这和普通的单模态YOLO目标检测是有一些区别的,最近整理了几十篇文章,总结了一下多模态目标检测中需要做的实验,带领大家更好的上手这一火热方向。

实验一:多模态目标检测的优势

实验内容: 在YOLOv8、YOLOv10、RT-DETR、YOLOv11、YOLOv12、YOLOv13中,分别测试两个单个模态和多模态的训练效果。

论文实例:

在这里插入图片描述

【SCI 一区】SuperYOLO: Super Resolution Assisted Object Detection in Multimodal Remote Sensing Imagery 文章中提出的SuperYOLO以YOLOv5为基线进行后续改进。

在这里插入图片描述

【SCI 二区】ACDF-YOLO: Attentive and Cross-Differential Fusion Network for Multimodal Remote Sensing Object Detection 文章中提出的ACDF-YOLO以YOLOv5为基线进行后续改进。

目的:

  1. 通过与单模态的对比,突出融合不同模态的优势,这也是我们为什么要使用多模态进行训练的出发点。

在实验模型选择中,对比实验通常选择较新的模型进行改进、对比。专栏中给出了不同模型的不同融合方案,使这一步的实验变得非常简单。

在这里插入图片描述

  1. 在基线选择中,一般选择最新的模型作为我们后续改进的基线模型。此时不仅确定了基线模型,还和其它SOTA模型做了比较,并且大量的对比既能让人信服,又保证了此处的工作量。

ultralytics的官方项目包中也配置了v3、v5、v6的模型,在我提供的项目包中,将其改成多模态模型也是非常简单的。


实验二:如何进行模型改进?

此部分的重点在于明白需对模型做哪些改进,如何做相应的实验需参考实验三。

融合部分改进(核心)

多模态目标检测的核心在于如何将不同模态的信息进行交互,以保留不同模态的优势特征。或进行相互指导,以达到任意单一模态无法全天候,多场景检测的优势。普通的融合仅使用Concat或者Add在通道上直接进行拼接或者相加,而未考虑不同模态间的优势互补,所以说融合部分的改进是多模态目标检测的核心创新点。

例如专栏中使用的CFT、TAFM、SDFM、CAFM、DMFF、MFM等模块以及大量自研的多模态融合模块,这一部分全都是针对融合部分的改进。

常规改进

除了主要的融合部分的改进,对于原模型中的特征提取模块和颈部结构、检测头等方面的改进均属于常规改进,若能和多模态融合有相辅相成的配合,也是非常不错的一个改进点。例如DEYOLO中针对骨干部分提出的双向解耦聚焦模块(Bi-direction Decoupled Focus),来整合多方向信息,扩大感受野。

在这里插入图片描述

常规改进和普通的YOLO模型改进步骤完全一致。在此专栏中也针对骨干、颈部写了一些例子,例如MBConv、HSFPN模块结构的加入。对于这方面有兴趣的可以查看对应的文章。


实验三:改进模块的一系列消融实验该怎么做?

在消融实验中,主要证明提出的模块怎么设计才是最优的,在模块的整体结构确定后,这里的消融实验就是对比,模块内部的各个组成的优劣,这涉及到模块内部一些小的模块、参数等。例如:

在这里插入图片描述

【arXiv 2025】WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection 此片文章中的这个实验便是对比提出的WaveMamba Fusion Blocks中不同融合策略的效果对比。

在这里插入图片描述

【SCI 二区】SFA-Net: Semantic Feature Adjustment Network for Remote Sensing Image Segmentation文章中设计了辅助头来鼓励中间解码器块学习语义特征,辅助损失的目标是最小化集成特征与真实数据之间的交叉熵损失,而 α 就是用于衡量该辅助损失在总损失中所占比重的权重。通过改变 α 的值进行消融实验,可探究其对模型在不同数据集上分割性能。

在这里插入图片描述

【SCI 二区】YOLOrs: Object Detection in Multimodal Remote Sensing Imagery这里则是对比了文中使用的元素积融合方式与早期融合,中期融合以及单模态的效果对比。

在这里插入图片描述

【arXiv 2024】DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object Detection这里则是对比了文中提出的DEPA模块中的卷积使用多大的卷积核效果更好。

整体消融:
在这里插入图片描述

【SCI 三区】Object Detection in Multispectral Remote Sensing Images Based on Cross-Modal Cross-Attention 在这篇文章中对比了提出的两个模块FFM、FEM在模型改进中的重要性,这和普通的YOLO模型改进中所做的消融实验是一致的。

在这里插入图片描述

【SCI 四区】MFTransNet: A Multi-Modal Fusion with CNN-Transformer Network for Semantic Segmentation of HSR Remote Sensing Images 在这篇文章中对比了提出的两个模块FACM、CFM在模型改进中的重要性,这和普通的YOLO模型改进中所做的消融实验也是一致的。

在这里插入图片描述

【SCI 三区】DFECF-DET: All-Weather Detector Based on Differential Feature Enhancement and Cross-Modal Fusion With Visible and Infrared Sensors 在这篇文章中对比了单个模态、融合、以及提出的DFE、CF两个模块和最终模型的效果。

目的:

  1. 通过对比提出模块内部细节部分的参数等内容,找到最终精度最高的参数。在日常的实验过程中,可以先实验一个模块,在看模块中是否有可以调节的参数,通过修改内部的参数,使模块的精度更高。
  2. 和普通的YOLO模型改进中所做的消融实验是一致,对比改进后的模型中,哪个模块对模型的最终效果影响更大。

实验四:创新模块在不同骨干上的效果对比

实验四和实验五都是为了突出改进模块的通用性,即其能够在不同的骨干、模型中均有一个很好的提升,以突出这个提升确实是改进的模块所带来的。

在这里插入图片描述

【SCI 一区】ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection 此时文章中对比的骨干是VGG16,ResNet50,以及YOLOv5自己的CSPDarkNet53。


实验五:创新模块在不同模型上的效果对比

在这里插入图片描述

Cross-Modality Fusion Transformer for Multispectral Object Detection 此时文章中则是对比了CFT模块在YOLOv5,YOLOv3,Faster R-CNN模型上的效果提升。


实验六:最终模型在不同数据集上的效果对比

最终模型在不同数据集上的效果对比的目的在于突出提出的模型比其他模型的精度要高,只需要找几个数据集再跑一下精度即可。也有一些论文中在比较不同数据集的同时也比较了当前数据集在不同SOTA模型上的效果,更加的全面。

在这里插入图片描述
在这里插入图片描述

【SCI 一区】A Unified Framework with Multimodal Fine-tuning for Remote Sensing Semantic Segmentation 此时文章中对比了提出的模型在Vaihingen,ISPRS Potsdam和MMHunan数据集上的效果优势。

在这里插入图片描述

【ICCVW】LLVIP: A Visible-infrared Paired Dataset for Low-light Vision 此时文章中对比了提出的模型在KAIST和LLVIP数据集上的效果优势。

在这里插入图片描述

【CVPR】Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection


实验七:SOTA模型效果对比

与实验一提到的不同,实验一中对比的主要目的是突出多模态融合的优势,并与一些基线模型进行对比,这里的基线模型均为未进行改进的,效果或许会差一些。这里提到的SOTA模型对比指的是和一些多模态论文中的提出的最终模型进行对比。例如:

在这里插入图片描述

在这里插入图片描述

【arXiv 2025】WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection

在这里插入图片描述

【SCI 一区】A Multilevel Multimodal Fusion Transformer for Remote Sensing Semantic Segmentation


总结

  1. 此篇文章中将多模态目标检测所做的实验,分成了各个类别,目的是为了对多模态的实验有一个清晰的理解。

  2. 可以看到,很多表格中放的并不是做了单一的某一个对比,而是将提出的模型,在不同的骨干、数据集上的效果与基线进行对比,使内容更全面。因此这里提到的各种实验,大家在后续改进写论文过程中可以根据自己的论文内容进行整合。

  3. 对于这里提到的这些文章,大家都可以看看,我只是按照我这里的分类截取了部分实验,这里提到的所有实验在每篇文章中也基本能看到相应的实验。并且提到的实验往往不是单一出现的,而是整合了多个实验,例如不同的骨干在不同的模态上的效果,不同的SOTA模型在不同的数据集上的效果等等。

  4. 总的来说,所做的实验涉及到不同的基线模型,骨干,融合方式,融合模块,SOTA模型对比以及不同的数据集。


最后再推荐一下我的多模态目标检测专栏:

专栏目录:《多模态模型改进》目录一览 | 专栏介绍 ,多模态的全方位改进,提供多模态模型改进完整项目包-开箱即用

专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!

专栏内提供了YOLOv13、YOLOv12、YOLOv11、YOLOv10、YOLOv18、RT-DETR的多模态模型改进,通过这个专栏,你可以轻松完成以下实验:

  1. 不同融合阶段的效果对比
  2. 单模态和多模态的效果对比
  3. 大量改进模块,作为论文的核心改进点
  4. 融合模块的对比实验,例如模块间的对比或者模块内部的参数对比
  5. 改进模块在不同骨干的效果对比
  6. 改进模块在不同模型上的效果对比
  7. 最终模型在不同数据集上的效果对比
  8. SOTA模型的复现
VIP 多模态目标检测:开启视觉识别的新维度 多模态目标检测利用了来自不同模态的数据,如视觉图像、深度图像、雷达信号、声音等,以获得更全面的理解和更准确的检测结果。这种方法尤其适用于复杂场景,其中单一模态可能无法提供足够的信息。 开通可读全文·2.3k 阅读·15 点赞·16 收藏 阅读全文

相关推荐

多模态视觉大模型开发实战:从选型到微调与落地的完整指南

随着AI技术从单一模态向多模态感知数据融合演进,视觉开发正经历从传统流水线到统一大模型的范式转移。理解多模态大模型的核心原理,掌握其训练与微调方法,已成为算法工程师与业务落地团队的关键技能。本文从多模态感知的基础概念出发,解析图像、文本、音频等异构数据的融合机制,探讨其在端侧智能、工业质检、智能客服等场景中的工程实践价值。在模型选型上,重点分析Qwen2.5-VL、InternVL等主流开源模型的硬件适配与量化策略;在数据层面,详述图文对质量评估与跨模态配比方法;并深入QLoRA微调的完整实战流程,以及多模

weixin_34310369的博客 239

低成本玩转3D检测:单目摄像头+MMDetection3D实战指南(KITTI/nuScenes-Mini双数据集)

本文为预算有限的开发者和研究者提供了一份低成本入门3D目标检测的实战指南。通过使用开源工具箱MMDetection3D和单目摄像头方案,详细解析了在KITTI和nuScenes-Mini数据集上部署SMOKE、PGD、FCOS3D等主流算法的完整流程,包括环境配置、数据准备、模型训练与可视化,并对比了不同算法的优劣与适用场景,旨在帮助读者快速搭建可用的3D感知原型系统。

weixin_29044157的博客 272

视频动作识别数据集全攻略:从UCF101到AVA的选型与避坑指南

视频动作识别是计算机视觉理解人类行为的基础技术,其核心在于让模型从连续帧中捕捉时空特征并完成语义分类。实际工程中,模型结构往往有成熟方案,而数据集的选取与处理才是决定项目成败的关键。从动作识别、行为识别到时空动作检测,不同任务对数据标注粒度和场景分布的要求差异显著,UCF101适合流程验证,Kinetics系列支撑大规模预训练,AVA则定义了时空检测的行业标准。骨骼动作识别数据集如NTU RGB+D,为边缘部署和实时交互提供了轻量化路径。理解数据集的模态、划分方式和标注格式,能够有效提升模型在真实场景中的泛

weixin_29044713的博客 285

目标检测多模态融合算法综述与编程

本文综述了目标检测多模态融合算法的发展,并提供了一个基于特征融合的多模态目标检测网络示例代码。常见的特征融合方法包括特征级融合和决策级融合。以上示例代码展示了一个简单的基于特征融合的多模态目标检测网络,其中模态A和模态B分别是输入图像的RGB通道和灰度通道。通过两个特征提取器将不同模态的特征进行提取,并通过融合层将它们进行融合,最后通过分类层得到最终的目标检测结果。深度模态融合网络通常采用多分支结构,并通过共享或独立的神经网络来提取不同模态数据的特征表示,最后将这些特征进行融合得到最终的检测结果。

Byte_O_O的博客 1800

《多模态融合改进》目录一览 | 专栏介绍 :全网 第一份 完整的多模态改进教程,提供《多模态模型改进完整项目包》-开箱即用

在大家订阅专栏后,便可获得多模态模型改进完整项目包-开箱即用,方便简单

Limiiiing的博客 1万+

大数据课程综合实验案例:网站用户行为分析

大数据课程综合实验案例1 案例简介1.1 案例目的1.2 适用对象1.3 时间安排1.4 预备知识1.5 硬件要求1.6 软件工具1.7 数据集1.8 案例任务1.9 实验步骤2 本地数据上传到数据仓库Hive2.1 实验数据集的下载2.2 数据集的预处理(1)删除文件第一行记录,即字段名称(2)对字段进行预处理(3)导入数据库3 Hive数据分析3.1 操作Hive3.2 简单查询分析3.3 查询条数统计分析3.4 关键字条件查询分析3.4.1 以关键字的存在区间为条件的查询3.4.2 关键字赋予给定值为

weixin_44616879的博客 1万+

自制电吉他效果器 DIY PCB(二)电路图分析

自制DIY电吉他效果器 PCB(二)电路图分析 要自制一款效果器,看懂电路图是必须的,即使你已经有了完整的设计电路图,在电路的绘制已久焊接的时候电路知识都会用到。 在效果器电路中,比较简单的是过载失真类效果器的电路。混响延迟等与声相有关的由于电路比较复杂本人也没有尝试过。其他的例如EQ、哇音等等效果器复杂程度依设计各不相同,在能做出过载失真类效果器后,可以自行尝试。 我这里主要为大家介绍失真效果器...

qq_41342525的博客 2万+

新手必看!Cisco Packet Tracer 8.2从安装到完成第一个局域网实验(附常见问题解决)

本文为网络新手提供了Cisco Packet Tracer 8.2的完整入门指南。从官方下载安装、界面熟悉,到核心的拖拽设备、连线、配置IP地址三步操作,手把手教你完成第一个局域网组网实验。文章重点讲解了如何通过Ping命令验证连通性,并附带了连线错误、IP配置不当等常见问题的解决思路,帮助初学者快速上手这款强大的思科模拟器。

android的专栏 872

DeepSeek赋能公文写作指南(一)

DeepSeek 的出现,为公文写作领域带来了新的曙光。作为先进的人工智能技术,DeepSeek 以其强大的语言理解与生成能力,能为公文写作提供全方位的支持。它可以快速梳理思路,提供丰富的素材参考,辅助优化语言表达,甚至能根据不同的公文类型和场景,生成极具价值的内容框架。《DeepSeek 赋能公文写作指南》正是基于此背景应运而生。本书旨在帮助公文写作者深入了解并充分利用 DeepSeek 这一强大工具,将其融入到公文写作的各个流程中。

通俗易懂学IT 5497

【跳频通信】基于MATLAB的跳频通信系统仿真

同时,跳频通信也具有良好的抗干扰能力,即使有部分频点被干扰,仍能在其他未被干扰的频点上进行正常的通信。由于跳频通信系统是瞬时窄带系统,它易于与其他的窄带通信系统兼容,也就是说,跳频电台可以与常规的窄带电台互通,有利于设备的更新。跳频是最常用的扩频方式之一,其工作原理是指收发双方传输信号的载波频率按照预定规律进行离散变化的通信方式,也就是说,通信中使用的载波频率受伪随机变化码的控制而随机跳变。从通信技术的实现方式来说,“跳频”是一种用码序列进行多频频移键控的通信方式,也是一种码控载频跳变的通信系统。

FPGA/MATLAB学习教程/源码/项目合作开发 6268

搞懂 SAPUI5 Fiori 应用的 OData 授权维护:从 IWSG、IWSV 到 S_SERVICE 的完整实践

本文探讨了SAP Fiori项目中常见的授权问题及其解决方案。文章指出,开发人员常误将OData服务访问问题归咎于前端代码或配置,而实际上多因授权默认值未正确带入角色所致。详细分析了IWSG(前端服务组元数据)和IWSV(后端业务服务)两个关键对象的作用机制,强调应通过PFCG角色的Authorization Default入口维护服务对象,而非直接修改S_SERVICE授权对象。文章还提供了前后端授权配置的具体操作步骤,并特别提醒需同时配置前端和后端授权,才能确保应用完整可用性。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 218

使用强化学习快速让AI学会玩贪食蛇游戏(轻量级二十分钟训练+代码)

如何让AI玩会贪食蛇,甚至比你厉害概述构建问题(强化学习求解的一般步骤)环境动作定义状态定义奖励设计训练奖励值收敛图效果代码 概述 所用技术:强化学习(Deep Reinforcement Learning),属于一种无监督学习,利用奖励rewardrewardreward教会智能体AgentAgentAgent在合适的场景做合适的决策。 采用算法:试过两种算法D3QN和离散版本的PPO算法,最终采用离散版本PPO算法+GAE(PPO是我用过的性能最好的算法之一) 编程语言与深度学习框架:Python3.

ZYunfei的博客 2万+

17、深入分析Freebase数据集:特征、挑战与类型系统构建

本文深入分析了Freebase数据集的特征、数据建模的挑战以及类型系统的构建方法。Freebase作为知识图谱的重要资源,以RDF三元组形式提供了丰富的结构化知识。文章重点探讨了反向三元组、中介节点(CVT节点)以及非主题三元组对链接预测任务的影响,并通过实验展示了不同类型处理策略对模型性能的作用。此外,文章详细介绍了如何构建一个显式的类型系统,以提升链接预测的准确性,并展望了未来可能的研究方向。

css33的专栏 294

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: 【YOLOv13多模态融合改进】| PR 2024 ICAFusion中的DMFF,双模态特征融合模块 引入跨模态交叉注意力机制,动态建模不同模态特征的全局语义依赖
下一篇: YOLOv8改进策略【Neck】| CGA Fusion:内容引导的注意力融合模块,空间权重引导的多模态特征自适应融合
Limiiiing
博客等级 码龄8年 2万+粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址