一、本文介绍
本文记录的是基于MambaOut的YOLOv8骨干网络改进方法研究。
MambaOut提出了基于Gated CNN块的模型结构,通过去除Mamba 块中的核心token mixer(SSM) 构建而成。将MambaOut应用于YOLOv8中,在处理图像分类时,其简单的Gated CNN 块结构避免了 SSM 在非长序列、非 autoregressive 任务中的冗余性。
本文在YOLOv8的基础上配置了原论文中mambaout_femto, mambaout_kobe, mambaout_tiny, mambaout_small, mambaout_base五种模型,以满足不同的需求。
专栏目录:YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、MambaOut原理介绍
MambaOut: Do WeReally Need Mamba for Vision?
MambaOut是一种基于Gated CNN块构建的模型,其设计出发点基于对Mamba模型特性及视觉任务特点的深入分析,在结构上有独特之处,并展现出多方面优势。
2.1 设计出发点
Mamba模型的token mixer是基于结构化状态空间模型(SSM),具有处理长序列和适用于因果token混合模式的特点。但视觉任务中,如ImageNet图像分类任务,既不属于长序列任务,也不需要因果token混合模式。而目标检测、实例分割和语义分割等任务虽属于长序列任务,但并非因果token混合模式。
因此,对于视觉任务,Mamba模型中的SSM可能并非必需。基于此,提出假设:SSM对ImageNet图像分类不是必需的;对视觉检测和分割任务,SSM仍有探索价值。为验证假设,构建了MambaOut模型,通过去除Mamba块中的核心token mixer(SSM),来评估Mamba对视觉识别任务的必要性。
2.2 结构
MambaOut采用类似ResNet的4阶段分层架构,通过在每个阶段堆叠Gated CNN块构建而成。
Gated CNN块与Mamba块的主要区别在于没有SSM。
其元架构可看作是MetaFormer的token mixer和
订阅专栏 解锁全文
6398



被折叠的 条评论
为什么被折叠?



