一、本文介绍
本文记录的是利用Focused Linear Attention聚焦线性注意力模块优化YOLOv8的目标检测网络模型。Focused Linear Attention module的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到YOLOv8中,进一步发挥其性能。
专栏目录:YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、聚焦线性注意力模块介绍
FLatten Transformer: Vision Transformer using Focused Linear Attention
2.1 设计出发点
- 解决线性注意力性能下降问题:当前线性注意力方法存在性能下降或引入额外计算开销的问题,从焦点能力和特征多样性两个角度分析并解决这些局限。
2.2 原理
2.2.1 焦点能力(Focus ability)原理
- Softmax注意力的优势:
Softmax注意力提供非线性加权机制,能聚焦重要特征,其注意力图分布在某些区域(如前景物体)很尖锐。 - 线性注意力的不足:线性注意力的注意力图分布相对平滑,缺乏聚焦能力。
- 提出的解决方案:提出
聚焦函数(Focused Function)f p f_p
订阅专栏 解锁全文
2563



被折叠的 条评论
为什么被折叠?



