一、本文介绍
本文记录的是利用SeaFormer++模型中提出的Sea_Attention模块优化YOLO26的目标检测网络模型。Sea_Attention利用挤压轴向注意力有效地提取全局语义信息,并通过细节增强核补充局部细节,优化了Transformer块的特征提取能力。本文将其加入到YOLO26的不同位置中,使模型能够在不引入过多计算开销的情况下聚合空间信息。
专栏目录:YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
二、混合局部通道注意力介绍
SeaFormer++: Squeeze-enhanced Axial Transformer for Mobile Visual Recognition
2.1 出发点
传统的全局自注意力机制在处理高分辨率图像时计算成本和内存需求高,不适合移动设备。为了解决这个问题,需要设计一种高效的注意力模块,既能提取全局语义信息,又能保持较低的计算复杂度和内存占用,同时还要能补充局部细节信息,以满足移动设备上的语义分割任务需求。
2.2 原理
2.2.1 Squeeze Axial attention(挤压轴向注意力)
- 通过自适应地将输入特征图在水平和垂直方向上进行挤压操作,将每个轴上的所有标记映射到一个单一的标记,从而以一种自适应的方式将全局信息保留在单个轴上。
- 在水平方向上,使用可学习的掩码将查询的所有标记映射到每行的一个单一标记;在垂直方向上同理。这样可以大大降低计算复杂度。
- 同时,为了使挤压后的轴向注意力具有位置感知能力,引入位置嵌入,使得挤压后的查询和键能够感知到它们在挤压后的轴向特征中的位置。
订阅专栏 解锁全文
1018



被折叠的 条评论
为什么被折叠?



