YOLOv8改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升,含二次创新

一、本文介绍

本文记录的是利用Focused Linear Attention聚焦线性注意力模块优化YOLOv8的目标检测网络模型。Focused Linear Attention module的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到YOLOv8中,进一步发挥其性能。


专栏目录:YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址:YOLOv8改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!


二、聚焦线性注意力模块介绍

FLatten Transformer: Vision Transformer using Focused Linear Attention

2.1 设计出发点

  • 解决线性注意力性能下降问题:当前线性注意力方法存在性能下降或引入额外计算开销的问题,从焦点能力和特征多样性两个角度分析并解决这些局限。

2.2 原理

2.2.1 焦点能力(Focus ability)原理

  • Softmax注意力的优势:Softmax注意力提供非线性加权机制,能聚焦重要特征,其注意力图分布在某些区域(如前景物体)很尖锐。
  • 线性注意力的不足:线性注意力的注意力图分布相对平滑,缺乏聚焦能力。
  • 提出的解决方案:提出聚焦函数(Focused Function) f p f_p
RT-DETR算法改进:超多种主干网络改进,包括CNN和Transformer多种核心网络结构 RT-DETR算法改进|超多种Backbone、CNN和Transformer核心网络结构合集 阅读详情

相关推荐

RT-DETR改进策略:双动态令牌混合器(D-Mixer)的TransXNet,实现RT-DETR的有效涨点

这段文字主要讨论了计算机视觉中的两种模型:Vision Transformer (ViT) 和 Swin Transformer。ViT使用多头自注意力(MHSA)进行长距离建模,取得了显著的进展,但由于其自身没有固有地编码归纳偏置,因此相对于卷积神经网络(CNN),其泛化能力较弱。为了解决这一限制,Swin Transformer引入了移位窗口自注意力,这种结构既引入了归纳偏置,又降低了MHSA的计算成本。但由于Swin Transformer是基于窗口的局部性质,其感受野有限。

m0_47867638的博客 2563

RT-DETR 模型的改进:PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !

RT-DETR 模型的改进:PAN 结构与 MobileViT 的融合 | VOC2007 强势涨点 !

Coding... 2218

【RT-DETR有效改进】InnerIoU思想结合传统 EIoU、SIoU、WIoU损失思想(小目标涨点效果明显)

本文给大家带来的是RT-DETR最新改进,为大家带来最近新提出的InnerIoU的内容同时用Inner的思想结合SIoU、WIoU、GIoU、DIoU、EIOU、CIoU等损失函数,形成 InnerIoU、InnerSIoU、InnerWIoU、等新版本损失函数,同时还结合了AIpha思想,形成的新的损失函数,其中Inner的主要思想是:引入了不同尺度的辅助边界框来计算损失,(该方法在处理非常小目标的检测任务时表现出良好的性能(但是在其它的尺度检测时也要比普通的损失要好)。

Snu77的博客 4655

YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣本专栏已更新150多种不同的改进方法,所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,紧跟学术热点,适应不同的任务场景。3️⃣团队内发表数篇SCI论文,熟悉完整的发表流程,订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新,最近更新时间:2024-12-24。项目介绍在大家购买专栏后,加入学

Limiiiing的博客 1万+

YOLOv10改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升,含二次创新

本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到中,进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析,结构如下: O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p(K)

Limiiiing的博客 1190

YOLOv12改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 什么!不知道如何改进模型⁉️ 本专栏所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行,性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,并进行二次创新,新颖度高,创新度高,能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容,非常适合新手。4️⃣ 团队内发表数篇SCI论

Limiiiing的博客 2万+

YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

如今各种网络模型更新迭代越来越快,计算机视觉相关的文章也越来越多,多到一些普通,通用的改进点无法达到发表的要求。本专栏正是解决这个问题!如何寻找创新点?为什么要使用这个模块?如何才能提升模型的精度?这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了,这已经省去了大部分时间,但是当我们使用这些新的模块去优化已有的模型,如何才能提升模型的精度,才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块,然后是进行大量的实验去排列组合以实现最终的精度提升,这无可厚非。

Limiiiing的博客 6万+

YOLOv11改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升,含二次创新

本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到v11中,进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析,结构如下: O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p

Limiiiing的博客 1004

YOLOv10改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

如何寻找创新点?为什么要使用这个模块?如何才能提升模型的精度?这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了,这已经省去了大部分时间,但是当我们使用这些新的模块去优化已有的模型,如何才能提升模型的精度,才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块,然后是进行大量的实验去排列组合以实现最终的精度提升,这无可厚非。

Limiiiing的博客 1万+

YOLOv12改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升,含二次创新

本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到中,进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析,结构如下: O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p(K)

Limiiiing的博客 315

YOLOv13改进策略【注意力机制篇】| ICCV2023 聚焦线性注意力模块 Focused Linear Attention 聚焦能力与特征多样性双重提升,含二次创新

本文记录的是利用聚焦线性注意力模块优化的目标检测网络模型。的作用在于同时解决了线性注意力的焦点能力不足和特征多样性受限的问题,克服了常见线性注意力方法存在性能下降或引入额外计算开销。本文将其加入到中,进一步发挥其性能。FLatten Transformer: Vision Transformer using Focused Linear Attention基于上述分析,结构如下: O=Sim(Q,K)V=ϕp(Q)ϕp(K)TV+DWC(V)O = Sim(Q, K)V=\phi_p(Q)\phi_p(K)

Limiiiing的博客 180

YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 什么!不知道如何改进模型⁉️ 本专栏已更新260多种不同的改进方法,所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行,性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,并进行二次创新,新颖度高,创新度高,能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容,非常适合新手

Limiiiing的博客 6595

YOLOv13改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 已更新种不同的改进方案,专栏内的每篇文章皆,均可顺利运行。2️⃣ 订阅专栏即可进群获取以及从的各种答疑内容。3️⃣ 全新的YOLOv13改进专栏,,只为更好的满足论文发表的要求。专栏内容,专栏实时评分,全网最高,质量保证。🎫。。

Limiiiing的博客 9214

RT-DETR改进策略【Backbone/主干网络】| CVPR 2024 替换骨干网络为 RMT,增强空间信息的感知能力

RMT模型是一种具有显式空间先验的视觉骨干网络,旨在解决中自注意力机制存在的问题。

Limiiiing的博客 1152

RT-DETR算法改进:更换损失函数XIoU损失函数,相比较CIoU改进涨点,YOLO改进Trick,提升网络模型性能、收敛速度和鲁棒性,提升RT-DETR检测精度

RT-DETR算法改进 | 更换损失函数XIoU损失函数

包括YOLOv5、YOLOv7、YOLOv8等模型改进 1471

风控IV、AUC、KS python计算代码

df_temp:数据集,Y:是否逾期标签,feas_list:需要计算IV的 变量。2、 按月和不同Y 下的 IV计算。

暮雨听轩的专栏 1620

基于 VS Code + CMake + Make + GNU工具链 + OpenOCD 的通用MCU开发环境搭建教程

以CH32V307(RISCV)和STM32F103(Cortex-M3)为例的Vscode+gnu单片机环境搭建。

余十三_的博客 2184

LPDDR6与LPDDR5 channel/rank/die/bank技术探讨

LPDDR6与LPDDR5 channel/rank/die/bank技术探讨

zilan23的博客 3657

图像拼接(Image Stitching)

图像拼接(Image Stitching):是一项计算机视觉技术,它将多张重叠的图像合并为一张更大、无缝的全景图或广角视图。该技术广泛应用于全景摄影、地图制作、医学影像处理、计算机视觉及增强现实(AR)等领域。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 2511

置顶必读(1) | 滚雪球学Oracle教程导航帖,带你弯道超车(持续更新中)

什么是数据库管理系统(DBMS),Oracle在行业中的领先地位Oracle数据库的市场竞争与主要应用场景Oracle数据库的核心功能模块与未来技术发展趋势约束的高级应用:主键、唯一性、外键设计与管理表分区、视图、同义词与序列的最佳实践PL/SQL编程的设计哲学,如何高效使用Oracle SQL DeveloperPL/SQL代码调试与优化技巧RAC集群中的高可用性设计,负载均衡与并行查询的配置集群中的缓存一致性管理。

**My Coding Family** 1万+

HBase学习二:RegionServer详解

RegionServer是HBase系统中最核心的组件,主要负责用户数据写入、读取等基础操作。RegionServer组件实际上是一个综合体系,包含多个各司其职的核心模块:HLog、MemStore、HFile以及BlockCache。一个RegionServer由一个(或多个)HLog、一个BlockCache以及多个Region组成。其中,HLog用来保证数据写入的可靠性;BlockCache可以将数据块缓存在内存中以提升数据读取性能;

qwerty1372431588的博客 751

基于ESP32 蓝牙游戏手柄设计

介绍使用 ESP32 并通过 BLE 通信的 设计手持游戏手柄,包含原理图与代码

DT程序员的博客 2166

第244篇 视觉SLAM后端之BA优化——Bundle Adjustment的原理

本文介绍了SLAM后端优化中的Bundle Adjustment(BA)技术。BA通过同时优化相机位姿和3D路标点位置,最小化重投影误差,解决前端估计的累积误差问题。文章详细讲解了BA的数学原理,包括目标函数构建、Gauss-Newton法和Levenberg-Marquardt法求解过程,以及利用稀疏性和Schur补加速计算的关键技术。对比了全量BA和增量BA的优缺点,并介绍了Ceres、g2o等工程实现工具。BA作为SLAM后端的核心算法,其理解深度直接影响系统性能优化能力。

郑伟强dev的专栏 360

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: 【YOLOv8/v9/v10/v11、RT-DETR改进合集】详解AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
下一篇: YOLOv8改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv8-T !!! 最新的发文热点
Limiiiing
博客等级 码龄8年 2万+粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址