前言
对于新手或者接触了一段时间的多模态目标检测的人来说,可能对这类论文需要做哪些实验还不是很清晰。这和普通的单模态YOLO目标检测是有一些区别的,最近整理了几十篇文章,总结了一下多模态目标检测中需要做的实验,带领大家更好的上手这一火热方向。
文章目录
实验一:多模态目标检测的优势
实验内容: 在YOLOv8、YOLOv10、RT-DETR、YOLOv11、YOLOv12、YOLOv13中,分别测试两个单个模态和多模态的训练效果。
论文实例:

【SCI 一区】SuperYOLO: Super Resolution Assisted Object Detection in Multimodal Remote Sensing Imagery 文章中提出的
SuperYOLO以YOLOv5为基线进行后续改进。

【SCI 二区】ACDF-YOLO: Attentive and Cross-Differential Fusion Network for Multimodal Remote Sensing Object Detection 文章中提出的
ACDF-YOLO以YOLOv5为基线进行后续改进。
目的:
- 通过与单模态的对比,突出融合不同模态的优势,这也是我们为什么要使用多模态进行训练的出发点。
在实验模型选择中,对比实验通常选择较新的模型进行改进、对比。专栏中给出了不同模型的不同融合方案,使这一步的实验变得非常简单。

- 在基线选择中,一般选择最新的模型作为我们后续改进的基线模型。此时不仅确定了基线模型,还和其它SOTA模型做了比较,并且大量的对比既能让人信服,又保证了此处的工作量。
ultralytics的官方项目包中也配置了v3、v5、v6的模型,在我提供的项目包中,将其改成多模态模型也是非常简单的。
实验二:如何进行模型改进?
此部分的重点在于明白需对模型做哪些改进,如何做相应的实验需参考实验三。
融合部分改进(核心)
多模态目标检测的核心在于如何将不同模态的信息进行交互,以保留不同模态的优势特征。或进行相互指导,以达到任意单一模态无法全天候,多场景检测的优势。普通的融合仅使用Concat或者Add在通道上直接进行拼接或者相加,而未考虑不同模态间的优势互补,所以说融合部分的改进是多模态目标检测的核心创新点。
例如专栏中使用的CFT、TAFM、SDFM、CAFM、DMFF、MFM等模块以及大量自研的多模态融合模块,这一部分全都是针对融合部分的改进。
常规改进
除了主要的融合部分的改进,对于原模型中的特征提取模块和颈部结构、检测头等方面的改进均属于常规改进,若能和多模态融合有相辅相成的配合,也是非常不错的一个改进点。例如DEYOLO中针对骨干部分提出的双向解耦聚焦模块(Bi-direction Decoupled Focus),来整合多方向信息,扩大感受野。

常规改进和普通的YOLO模型改进步骤完全一致。在此专栏中也针对骨干、颈部写了一些例子,例如MBConv、HSFPN模块结构的加入。对于这方面有兴趣的可以查看对应的文章。
实验三:改进模块的一系列消融实验该怎么做?
在消融实验中,主要证明提出的模块怎么设计才是最优的,在模块的整体结构确定后,这里的消融实验就是对比,模块内部的各个组成的优劣,这涉及到模块内部一些小的模块、参数等。例如:

【arXiv 2025】WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection 此片文章中的这个实验便是对比提出的WaveMamba Fusion Blocks中不同融合策略的效果对比。

【SCI 二区】SFA-Net: Semantic Feature Adjustment Network for Remote Sensing Image Segmentation文章中设计了辅助头来鼓励中间解码器块学习语义特征,辅助损失的目标是最小化集成特征与真实数据之间的交叉熵损失,而 α 就是用于衡量该辅助损失在总损失中所占比重的权重。通过改变 α 的值进行消融实验,可探究其对模型在不同数据集上分割性能。

【SCI 二区】YOLOrs: Object Detection in Multimodal Remote Sensing Imagery这里则是对比了文中使用的元素积融合方式与早期融合,中期融合以及单模态的效果对比。

【arXiv 2024】DEYOLO: Dual-Feature-Enhancement YOLO for Cross-Modality Object Detection这里则是对比了文中提出的DEPA模块中的卷积使用多大的卷积核效果更好。
整体消融:

【SCI 三区】Object Detection in Multispectral Remote Sensing Images Based on Cross-Modal Cross-Attention 在这篇文章中对比了提出的两个模块FFM、FEM在模型改进中的重要性,这和普通的YOLO模型改进中所做的消融实验是一致的。

【SCI 四区】MFTransNet: A Multi-Modal Fusion with CNN-Transformer Network for Semantic Segmentation of HSR Remote Sensing Images 在这篇文章中对比了提出的两个模块FACM、CFM在模型改进中的重要性,这和普通的YOLO模型改进中所做的消融实验也是一致的。

【SCI 三区】DFECF-DET: All-Weather Detector Based on Differential Feature Enhancement and Cross-Modal Fusion With Visible and Infrared Sensors 在这篇文章中对比了单个模态、融合、以及提出的DFE、CF两个模块和最终模型的效果。
目的:
- 通过对比提出模块内部细节部分的参数等内容,找到最终精度最高的参数。在日常的实验过程中,可以先实验一个模块,在看模块中是否有可以调节的参数,通过修改内部的参数,使模块的精度更高。
- 和普通的YOLO模型改进中所做的消融实验是一致,对比改进后的模型中,哪个模块对模型的最终效果影响更大。
实验四:创新模块在不同骨干上的效果对比
实验四和实验五都是为了突出改进模块的通用性,即其能够在不同的骨干、模型中均有一个很好的提升,以突出这个提升确实是改进的模块所带来的。

【SCI 一区】ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection 此时文章中对比的骨干是VGG16,ResNet50,以及YOLOv5自己的CSPDarkNet53。
实验五:创新模块在不同模型上的效果对比

Cross-Modality Fusion Transformer for Multispectral Object Detection 此时文章中则是对比了CFT模块在YOLOv5,YOLOv3,Faster R-CNN模型上的效果提升。
实验六:最终模型在不同数据集上的效果对比
最终模型在不同数据集上的效果对比的目的在于突出提出的模型比其他模型的精度要高,只需要找几个数据集再跑一下精度即可。也有一些论文中在比较不同数据集的同时也比较了当前数据集在不同SOTA模型上的效果,更加的全面。


【SCI 一区】A Unified Framework with Multimodal Fine-tuning for Remote Sensing Semantic Segmentation 此时文章中对比了提出的模型在Vaihingen,ISPRS Potsdam和MMHunan数据集上的效果优势。

【ICCVW】LLVIP: A Visible-infrared Paired Dataset for Low-light Vision 此时文章中对比了提出的模型在KAIST和LLVIP数据集上的效果优势。

实验七:SOTA模型效果对比
与实验一提到的不同,实验一中对比的主要目的是突出多模态融合的优势,并与一些基线模型进行对比,这里的基线模型均为未进行改进的,效果或许会差一些。这里提到的SOTA模型对比指的是和一些多模态论文中的提出的最终模型进行对比。例如:


【arXiv 2025】WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection

【SCI 一区】A Multilevel Multimodal Fusion Transformer for Remote Sensing Semantic Segmentation
总结
-
此篇文章中将多模态目标检测所做的实验,分成了各个类别,目的是为了对多模态的实验有一个清晰的理解。
-
可以看到,很多表格中放的并不是做了单一的某一个对比,而是将提出的模型,在不同的骨干、数据集上的效果与基线进行对比,使内容更全面。因此这里提到的各种实验,大家在后续改进写论文过程中可以根据自己的论文内容进行整合。
-
对于这里提到的这些文章,大家都可以看看,我只是按照我这里的分类截取了部分实验,这里提到的所有实验在每篇文章中也基本能看到相应的实验。并且提到的实验往往不是单一出现的,而是整合了多个实验,例如不同的骨干在不同的模态上的效果,不同的SOTA模型在不同的数据集上的效果等等。
-
总的来说,所做的实验涉及到不同的基线模型,骨干,融合方式,融合模块,SOTA模型对比以及不同的数据集。
最后再推荐一下我的多模态目标检测专栏:
专栏内提供了YOLOv13、YOLOv12、YOLOv11、YOLOv10、YOLOv18、RT-DETR的多模态模型改进,通过这个专栏,你可以轻松完成以下实验:
- 不同融合阶段的效果对比
- 单模态和多模态的效果对比
- 大量改进模块,作为论文的核心改进点
- 融合模块的对比实验,例如模块间的对比或者模块内部的参数对比
- 改进模块在不同骨干的效果对比
- 改进模块在不同模型上的效果对比
- 最终模型在不同数据集上的效果对比
- SOTA模型的复现
239



被折叠的 条评论
为什么被折叠?



