一、本文介绍
本文记录的是利用CGA Fusion 模块改进 YOLOv12 的多模态融合部分。
CGAFusion(Content-Guided Attention Fusion)通过内容引导注意力生成空间权重,引导高低层特征的自适应融合。本文利用CGA Fusion 模块,通过内容引导注意力生成空间权重,自适应地融合两个模态的特征,在特征融合阶段实现跨模态语义对齐与噪声抑制,增强对不同模态互补特征的利用能力,从而提升模型在多模态场景下的检测鲁棒性与准确性。
文章目录
二、CGA Fusion模块介绍
DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention
2.1 CGA模块(Content-Guided Attention)
2.1.1 设计出发点
传统注意力机制(如FAM、CBAM)存在两大缺陷:
- 无法处理特征级雾霾不均匀性:现有方法仅关注图像级雾霾分布(如空间注意力),忽略特征级通道间的雾霾差异。不同通道的特征编码不同语义(如边缘、纹理),需独立分配空间重要性图(SIM)。
- 通道与空间注意力缺乏交互:传统模块(如FAM)顺序计算通道和空间注意力,未融合两者信息,导致特征校准不全面。
目标:生成通道特定的空间重要性图(Channel-specific SIM),同时融合通道与空间注意力,提升特征表示能力。
2.1.2 原理与结构
CGA采用粗到细(Coarse-to-Fine) 的两阶段注意力生成机制,结构如图所示:
订阅专栏 解锁全文
440



被折叠的 条评论
为什么被折叠?



