1. 项目概述
把跨尺度特征融合作为目标检测网络的“瓶颈环节”来动刀,这个思路在我拿到PST金字塔稀疏Transformer改进YOLOv26这个题目时就已经很明确。核心目标只有一个:在不显著牺牲检测精度的前提下,把特征金字塔各级之间反复融合带来的计算开销压下去,尤其是处理多尺度目标同时出现的复杂场景。
先交代背景。YOLO系列发展到v26这个阶段,主干网络backbone和检测头head的设计已经相对成熟,残差连接、CSP结构、多路并行卷积这些手段被反复打磨,单看某一层特征图的表达力,其实很难再挤出大幅提升的空间。真正剩下的优化洼地,恰恰是跨尺度特征融合这个环节——低层特征保细节但缺语义,高层特征有语义但分辨率低,怎么把它们高效地揉在一起,直接决定了网络对不同尺寸目标的响应质量。传统做法是FPN+PAN这种自上而下和自下而上的双向路径,但它的本质是逐层卷积+拼接,计算量与层数线性挂钩,而且融合方式比较“钝”,语义对齐做得不够精细。
PST这个方案的设计逻辑,就是把Transformer的自注意力机制引入跨尺度融合路径,同时用水力金字塔式的稀疏采样替代全图稠密注意力,从而把计算复杂度从序列长度的平方级拉回到近似线性。我实际搭建和训练下来,这套改动对YOLOv26整体结构侵入性很低,基本是作为FPN/PAN路径中的一个可替换模块存在,但带来的收益非常直接:在同样的输入分辨率下,训练吞吐提升了约18%,推理帧数在端侧设备上从原来的47帧涨到56帧,而COCO验证集上的mAP不降反升,小目标类别上甚至涨了1.4个点。
这篇文章我会把PST的设计思路、实现细节、训练配置和踩坑实录完整摊开。适合有一定检测模型基础、想自己动手改造YOLOv26结构的开发者参考,如果你用的是其他版本的YOLO,或者干脆是自研的检测框架,只要你的特征融合链路里存在金字塔结构,这套稀疏注意力方案也可以移植过去。下面先从跨尺度融合的效率痛点开始拆——不把这个根源讲清楚,后面所有设计看起来都像是在空中盖楼。
2. 跨尺度特征融合的现状与效率瓶颈
2.1 从串行卷积到注意力:融合机制的演进逻辑
YOLOv26默认的跨尺度融合链路,本质上还是一条基于卷积操作的路径。输入来自主干网络三个不同下采样倍数的特征层,比如8倍、16倍、32倍下采样,分别对应分辨率较高但语义较弱、分辨率居中、分辨率低但语义最强的三组特征。默认做法是把这三层送进一个特征金字塔网络,然后通过自下而上的路径增强(PAN结构)反复做卷积、上采样、通道拼接,最终输出融合后的多尺度特征给检测头。
这条路径的问题有三个。第一,每经过一层卷积融合,特征图的通道数至少是256起步,三五个融合节点下来,计算量呈线性甚至超线性增长,在端侧设备上尤其致命。第二,逐层卷积融合的方式是“盲目的”,它不知道当前特征图里哪些位置更重要,只能对所有空间位置一视同仁地做卷积运算,这其实造成了大量无效计算。第三,跨尺度信息在对齐时靠的是简单的上采样+逐元素相加,这种操作对于语义错位很敏感——大目标和小目标的中心点往往在不同尺度的特征图上偏移很大,直接相加会产生相互干扰。
我试过把YOLOv26默认的PAN结构替换成更宽的CSP层,或者加深融合路径的层数,结果很直观:参数量上去了,训练速度下来一截,mAP提升往往在0.2个点以内,性价比很低。这说明问题的本质不在融合通道的宽度或深度,而在融合的方式——后来我把目光转向Transformer,逻辑就通了:自注意力机制天然具备全局感受野,能够让低层特征图上的某个小目标位置,直接“看到”高层特征图上对应区域的语义信息,不需要一步一步通过卷积慢慢传递。
2.2 全图注意力为什么用不起
Transformer在检测网络里其实不算新鲜事。最直接的用法是拿一个标准的多头自注意力模块替换掉特征融合路径中的某个卷积块,让特征图在全局范围内做信息交互。理论上这能完美解决卷积感受野受限的问题,但落地时立刻撞上计算复杂度的墙。
以YOLOv26输入640x640为例,backbone下采样8倍后,特征图分辨率是80x80,像素点数量是6400个。标准自注意力的复杂度是O(n²d),n是序列长度,d是通道数,算下来这一层的注意力矩阵就是6400x6400,约4096万个元素。如果是16倍下采样层,40x40的特征图,也要1600x1600的注意力矩阵。而这个计算量还不是只算一次——多头注意力每个头都要来一遍,融合路径中每个节点都来一遍,训练时的批处理再乘上batch size,整个显存直接爆炸。
我之前在一台显存只有24GB的机器上试过,把PAN中的一层换成标准Transformer,batch size从默认的16降到4才能跑起来,训练周期直接拉长将近一倍。关键是精度的提升还撑不起这个代价——全图注意力计算出来的很多注意力权重其实都非常小,分布在远距离且不相关的区域上,这些位置对最终融合结果的贡献趋近于零,但计算量一分不少地照付。
所以摆在面前的选择就很简单:要么放弃Transformer,回到卷积的老路;要么想办法把注意力的计算范围约束在真正有语义关联的区域上,而不是全图平铺。PST走的是第二条路,而且是用一种非常工程化的思路来做的——稀疏掩码+金字塔分区,两件事叠加在一起,把注意力复杂度从O(n²)干到近似O(n)。
2.3 PST的设计出发点:用稀疏性换效率
PST的全称是Pyramid Sparse Transformer,金字塔稀疏Transformer。它的核心观察是:跨尺度特征融合的语义关联,往往集中在一个局部邻域内,真正需要远距离交互的是少数跨尺度对应点,而不是全图所有位置。这其实符合检测任务的物理直觉——一个目标在低层特征图上占据的区域,在高层特征图上对应的区域不会漫无目的地漂移,它的位置基本落在一个可预测的范围内,这个范围随着下采样倍率的增加而扩大。
基于这个观察,PST把注意力计算划分成两个维度来压缩。第一个维度是空间维度,用金字塔分区的方式,把特征图划分成多个分辨率层级的小区块,只在对应层级的局部窗口内做自注意力,类似于Swin Transformer的窗口注意力,但层级结构更贴合特征金字塔的语义。第二个维度是跨尺度维度,用稀疏采样矩阵,预先计算出每个低层特征块与高层特征块之间的语义对应关系,只对高响应位置计算注意力,其余位置直接置零跳过。
两个维度叠加下来,实际参与注意力计算的位置对数量,只有全图注意力的5%到10%。我去实测过,在保持输出特征维度不变的前提下,PST模块的FLOPs相对标准Transformer下降了90%左右,相对原版YO
306



被折叠的 条评论
为什么被折叠?



