“爆改YOLOv8 | PSA注意力机制融合入YOLOv8”,这个标题我盯着看了很久,决定直接动手写一篇不灌水的实操记录。
如果你经常折腾YOLOv8改进,大概率见过这个词——PSA注意力机制。它在目标检测、缺陷检测、小目标检测的改进论文和博客里都快被用烂了,但真正能把它正确融进YOLOv8、还能稳定训练收敛的人并不多。我这次把PSA(极化自注意力,Polarized Self-Attention)完整融合进YOLOv8的backbone和neck,从模块代码、网络结构修改、训练配置到问题排查,把全流程都跑通了。这篇文章写给两类人:一是刚接触YOLOv8改进、想加注意力机制但不知道从哪下手的同学,二是已经在做YOLOv8改进、但被各种报错和复现问题折磨的选手。文中所有代码和思路都以可复现为第一目标,尽量说清楚每一步为什么这么做。
1. 为什么我选择给YOLOv8加PSA注意力机制
1.1 注意力机制在YOLOv8里的角色
先说一个基本判断:YOLOv8本身的特征提取能力已经不弱,C2f结构加上SPPF,在通用目标检测场景下表现相当均衡。但它的问题也很明显,当目标尺度变化大、背景复杂、或者目标本身较小的时候,网络对所有通道和空间位置“一视同仁”,容易把背景信息也当成重要特征一起送进检测头。注意力机制解决的就是这个问题:让网络自己学会该看哪里、该放大哪些通道信息。
在改进YOLOv8时,注意力模块一般加在三个位置:backbone的特征提取阶段、neck的特征融合阶段、以及检测头之前。不同位置的作用差异很大。加在backbone深处,更多是让高层语义特征更聚焦;加在neck,是让融合后的多尺度特征图在送入检测头之前再做一次筛选;加在检测头前,则是直接为分类和回归分支提供更干净的特征输入。我这次主要实践的是前两种,后面会详细说具体插在哪。
1.2 PSA极化自注意力到底是什么
PSA,全称Polarized Self-Attention,中文一般叫极化自注意力,出自CVPR 2023的论文《Polarized Self-Attention: Towards High-quality Pixel-wise Regression》。最初是给高精度像素级回归任务设计的,后来被大量引入目标检测改进。这里有个容易踩的坑,我在不少博客里看到有人把PSA理解成另一篇多尺度注意力论文“Pyramid Split Attention”,那完全是另一个东西,代码结构差别很大。本文说的PSA统一指极化自注意力。
极化自注意力的核心思路可以从名字拆解。“极化”这个物理概念在注意力里的体现,就是让注意力权重的分布更极端、更集中。它同时设计了两个分支:通道分支和空间分支。通道分支使用softmax将空间维度压缩成1,相当于在通道维度上做一个全局的注意力权重提取,但和SE用全局平均池化的方式不同,PSA用的是可学习的注意力分布;空间分支则使用sigmoid在通道维度上做逐元素归一化,保留完整的空间分辨率,不损失空间细节。两个分支分别得到[0,1]之间的注意力权重后,再和原始特征做逐元素相乘。
听起来有点像SE加CBAM的合体?实际上差别很大。SE只有通道注意力,CBAM把通道和空间拆成串联的两个模块,而PSA是并联双分支,并且通道分支里的空间压缩是用softmax动态学习的,不是简单池化。这种设计让它能保留更多的高频细节,对目标边缘、小目标这类像素级信息更友好。后面我会用一个生活化的类比再解释一遍。
1.3 PSA相比SE、CBAM、CA,优势在哪
我直接把几个常见注意力机制摆在一起对比,方便你理解为什么选PSA。
- SE通道注意力:先全局平均池化,再用两个全连接层学习通道权重,最后sigmoid映射到[0,1]并乘回原特征。优点是轻量,缺点是只关注通道维度,空间信息被完全压平,对空间位置的区分能力弱。
- CBAM:在SE基础上增加了空间注意力,但通道和空间是串联结构,空间注意力用的是卷积核为7x7的卷积,感受野固定,对小目标的细节保留能力一般。
- CA坐标注意力:把位置信息嵌入通道注意力,分别沿高度和宽度方向做池化,解决SE丢失位置信息的问题。但它本质上还是池化加全连接的思路,全局上下文建模能力不如自注意力。
- PSA极化自注意力:通道分支用softmax做空间压缩,空间分支用sigmoid保留全分辨率,两个分支并联,且都通过1x1卷积加LayerNorm加sigmoid输出权重。最大优势是在不显著增加参数量的前提下,同时建模全局通道依赖和局部空间细节。
用个不严谨但好懂的类比:SE像是一个只看总分的老师,CBAM像是先看总分再看某个固定区域,CA像是既看行平均分也看列平均分,而PSA更像是一个既会抓重点科目、又会逐题批改细节的老师。对于缺陷检测、小目标检测这类需要精细判断的任务,PSA的细节保留能力确实更对路。
2. 改造前准备:环境配置与插入位置选择
2.1 环境、版本与显卡组合怎么选
YOLOv8的改进第一道坎就是环境。Ultralytics仓库更新频率很高,不同版本之间parse_model的解析逻辑、模块注册方式都有差异。如果你直接clone最新仓库然后照着老博客改,大概率会遇到ModuleNotFoundError或者参数解析报错。我自己测试下来,建议把ultralytics版本锁在一个稳定版本上,比如8.0.200左右,或者直接用 pip install ultralytics==8.0.200 ,这类版本对自定义模块的支持比较成熟,网上资料也多。
显卡这块,我实测下来,RTX 3060 12G可以跑通yolov8n加单处PSA的训练,batch size设到16没问题;RTX 3090或4090会舒服很多,可以同时加多处PSA并保持较大batch。如果你的显卡只有6G显存,也别硬顶,后面第四节我会给一套降显存的方案。Python环境推荐3.8到3.10,PyTorch推荐2.0.1或1.13.1,CUDA
352



被折叠的 条评论
为什么被折叠?



