一、本文介绍
本文记录的是利用Contextual Transformer (CoT) 模块优化YOLO26的目标检测网络模型。 CoT将静态上下文和自注意力学习动态上下文统一在一个架构中,有效地提升了在 2D 特征图上进行视觉表示学习时自注意力学习的能力,本文将深入研究CoT的原理,并将其应用到YOLO26中,进而更有效的增强模型对视觉信息的学习和表示能力。
专栏目录:YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、ParNet 介绍
Contextual Transformer Networks for Visual Recognition
2.1 出发点
- 现有的大多数Transformer设计在2D特征图上直接使用自注意力来获得注意力矩阵时,仅基于孤立的查询和键对,未充分利用相邻键之间的丰富上下文信息。因此,希望通过利用输入键之间的上下文信息来增强Transformer式架构,以提高视觉表示学习能力。
2.2 原理
- 挖掘静态上下文:首先通过一个 3 × 3 3×3 3×
订阅专栏 解锁全文
1308



被折叠的 条评论
为什么被折叠?



