一、本文介绍
本文记录的是利用Conv2Former优化YOLOv8的目标检测网络模型。Transformer通过自注意力机制能够获取全局信息,但资源占用较大。卷积操作资源占用较少,但只能根据卷积核的大小获取局部信息。Conv2Former通过卷积调制操作简化了自注意力机制,更有效地利用了大核卷积,在视觉识别任务中表现出较好的性能。
专栏目录:YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、Conv2Former介绍
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Conv2Former是一种用于视觉识别的新型卷积网络架构,其设计的原理和优势如下:
2.1 原理
2.1.1 整体架构
Conv2Former采用金字塔结构,与ConvNeXt和Swin Transformer网络类似,共四个阶段,每阶段特征图分辨率不同,连续阶段间使用patch embedding块(通常为步长2的2×2卷积)降低分辨率,不同阶段有不同数量的卷积块,构建了Conv2Former-N、Conv2Former-T、Conv2Former-S、Conv2Forme -B、Conv2Former-L五种变体。
2.1.1 卷积调制块
- Self-Attention:对于输入令牌序列X,
Self-Attention首先通过线性层生成键K、查询Q和值V,输出为值的加权平均,基于相似性得分矩阵A,
订阅专栏 解锁全文
1066



被折叠的 条评论
为什么被折叠?



