前言
本文介绍了自调制特征聚合模块(SMFA)和部分卷积前馈网络(PCFN)组成的特征调制块(FMB)在YOLOv11中的结合应用。FMB能整合局部与非局部特征,具有高效信息流动、多层次特征提取等优势。我们将FMB相关代码集成到YOLOv11的C3k2模块中,在tasks.py里注册,并配置了yaml文件。实验表明,改进后的模型在图像超分辨率任务中可实现重建性能与计算效率的更佳平衡,提升了图像重建质量。
文章目录: YOLOv11改进大全:卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总
专栏链接: YOLOv11改进专栏
文章目录
介绍

摘要
基于Transformer的图像恢复方法凭借自注意力(Self - Attention, SA)机制挖掘非局部信息的能力,在高分辨率图像重建中展现出显著的性能提升。然而,Transformer中的点积自注意力(dot - product SA)计算开销庞大,这限制了其在低功耗设备中的应用;此外,自注意力机制的低通特性限制了其捕获局部细节的能力,致使重建结果趋于平滑。为解决这些问题,我们提出了一种自调制特征聚合模块(Self - Modulation Feature Aggregation, SMFA),通过协同利用局部和非局部特征交互实现更精准的图像重建。具体而言,SMFA模块引入了一种高效的自注意力近似(Efficient Approximation of Self - Attention, EASA)分支来建模非局部信息,同时利用局部细节估计(Local Detail Estimation, LDE)分支捕获局部细节。此外,我们进一步提出了基于部分卷积(Partial Convolution)的前馈网络(PCFN),以精炼由SMFA模块提取的代表性特征。大量实验表明,所提出的SMFANet系列在公共基准数据集上实现了重建性能与计算效率之间更优的平衡。特别地,与×4的SwinIR - light模型相比,SMFANet +在五个公共测试集上的平均性能提高了0.14dB,运行速度快了
订阅专栏 解锁全文
60



被折叠的 条评论
为什么被折叠?



