一、本文介绍
本文记录的是利用Bottleneck Transformers (BoT)优化YOLOv8的目标检测网络模型。标准的卷积操作虽然能有效捕获局部信息,但在处理需要全局信息整合的任务时存在局限性,而自注意力机制能够有效地建模长距离依赖,因此考虑将其引入到视觉架构中。本文利用BoT模块将标准卷积和自注意力相结合,提高模型的全局感知能力。
专栏目录:YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、Bottleneck Transformers介绍
Bottleneck Transformers for Visual Recognition
Bottleneck Transformers(BoTNet)是一种将自注意力(Self-Attention)融入计算机视觉任务的骨干架构,其设计的原理和优势如下:
2.1 原理
2.1.1 架构组成
BoT block是通过将ResNet瓶颈块中的空间3×3卷积替换为Multi-Head Self-Attention(MHSA)层来构建的(如图所示)。

2.2.2 MHSA层
MHSA层在二维特征图上实现全局(all2all)自注意力(如图所示)。为了使注意力操作具有位置感知能力,使用了相对位置编码。注意力的计算逻辑为
订阅专栏 解锁全文
1277



被折叠的 条评论
为什么被折叠?



