YOLOv8/v10/v11/v12剪枝,接pytorch模型定制剪枝、蒸馏,论文复现,详细咨询

YOLOv8实战-模型剪枝 模型剪枝是用在模型的一种优化技术,旨在减少神经网络中不必要的参数,从而降低模型的复杂性和计算负载,进一步提高模型的效率。模型剪枝的流程:约束训练(constained training)、剪枝(prune)、回调训练(finetune) 阅读详情
AI摘要

本文介绍YOLOv8至v12的剪枝流程,包括约束训练、剪枝操作和微调三个阶段。通过L1正则化实现BN层稀疏化,并在TensorBoard中可视化参数分布变化。使用自定义prun.py完成模型剪枝并生成ONNX格式验证结构,最后进行fine-tuning恢复精度。

1 约束训练

1.1 修改YOLOv8代码:

ultralytics/yolo/engine/trainer.py

添加内容:

# Backward
self.scaler.scale(self.loss).backward()

# ========== 新增 ==========
l1_lambda = 1e-2 * (1 - 0.9 * epoch / self.epochs)
for k, m in self.model.named_modules():
    if isinstance(m, nn.BatchNorm2d):
        m.weight.grad.data.add_(l1_lambda * torch.sign(m.weight.data))
        m.bias.grad.data.add_(1e-2 * torch.sign(m.bias.data))
# ========== 新增 ==========

# Optimize - https://pytorch.org/docs/master/notes/amp_examples.html
if ni - last_opt_step >= self.accumulate:
    self.optimizer_step()
    last_opt_step = ni

1.2  训练

需要注意的就是amp=False

命令行输入:
yolo train model=yolov8s.yaml epochs=100 amp=False

训练完会得到一个best.pt和last.pt,推荐用last.pt

1.3 约束训练可视化

已实现在tensorboard可视化约束训练过程BN参数的分布变化

随着训练进行(纵轴是epoch),BN层参数会逐渐从最上面的正太分布趋向于0附近。

以下是正常训练和稀疏训练的BN层参数值分布图:

右图的稀疏训练明显太早就全到0了,这样会影响精度,可以把系数1e-2改小一点1e-3,这样会稀疏的慢一点,l1_lambda = 1e-2 * (1 - 0.9 * epoch / self.epochs)
如下图:左为1e-2, 右为0.3*1e-2

2 剪枝

上一步得到的last.pt作为剪枝对象,自己创建一个prun.py文件:

这里的剪枝代码仅适用yolov8原模型,如有模块/模型的更改,则需要修改剪枝代码

需要定制改模型后的剪枝的可以私信

from ultralytics import YOLO
import torch
from ultralytics.nn.modules import Bottleneck, Conv, C2f, SPPF, Detect

yolo = YOLO("last.pt")  # 第一步约束训练得到的pt文件


model = yolo.model
ws = []
bs = []

for _, m in model.named_modules():
    if isinstance(m, torch.nn.BatchNorm2d):
        w = m.weight.abs().detach()
        b = m.bias.abs().detach()
        ws.append(w)
        bs.append(b)


factor = 0.8  # 通道保留比率


ws = torch.cat(ws)
threshold = torch.sort(ws, descending=True)[0][int(len(ws) * factor)]
print(threshold)


def _prune(c1, c2):
    wet = c1.bn.weight.data.detach()
    bis = c1.bn.bias.data.detach()
    list = []
    _threshold = threshold
    while len(list) < 8:
        list = torch.where(wet.abs() >= _threshold)[0]
        _threshold = _threshold * 0.5
    i = len(list)
    c1.bn.weight.data = wet[list]
    c1.bn.bias.data = bis[list]
    c1.bn.running_var.data = c1.bn.running_var.data[list]
    c1.bn.running_mean.data = c1.bn.running_mean.data[list]
    c1.bn.num_features = i
    c1.conv.weight.data = c1.conv.weight.data[list]
    c1.conv.out_channels = i
    if c1.conv.bias is not None:
        c1.conv.bias.data = c1.conv.bias.data[list]
    if not isinstance(c2, list):
        c2 = [c2]
    for item in c2:
        if item is not None:
            if isinstance(item, Conv):
                conv = item.conv
            else:
                conv = item
            conv.in_channels = i
            conv.weight.data = conv.weight.data[:, list]

def prune(m1, m2):
    if isinstance(m1, C2f):
        m1 = m1.cv2
    if not isinstance(m2, list):
        m2 = [m2]
    for i, item in enumerate(m2):
        if isinstance(item, C2f) or isinstance(item, SPPF):
            m2[i] = item.cv1
    _prune(m1, m2)

for _, m in model.named_modules():
    if isinstance(m, Bottleneck):
        _prune(m.cv1, m.cv2)


for _, p in yolo.model.named_parameters():
    p.requires_grad = True

# yolo.export(format="onnx")  # 导出为onnx文件
# yolo.train(data="VOC.yaml", epochs=100) # 剪枝后直接训练微调

torch.save(yolo.ckpt, "prune.pt")
print("done")

上述代码只需修改:

1. 最顶上的yolo = YOLO("last.pt")改为第一步约束训练得到的文件路径,一般为runs/detect/train/weights/last.pt

2. 最下面的torch.save(yolo.ckpt, "prune.pt")改为想要保存的路径

运行完会得到prune.pt和prune.onnx可以在netron.app网站拖入onnx文件查看是否剪枝成功了,成功的话可以看到某些通道数字为单数或者一些不规律的数字,如下图:

 

3 回调训练(finetune)

3.1 先要把第一步约束训练的代码注释掉

3.2  修改相关代码

修改位置:yolo/engine/trainer.py的443行左右

self.model = self.get_model(cfg=cfg, weights=weights, verbose=RANK == -1)  # calls Model(cfg, weights)

# ========== 新增该行代码 ==========
self.model = weights
# ========== 新增该行代码 ==========

return ckpt

3.3 修改完代码就可以进行finetun训练了

命令行输入:
yolo train model=prune.pt epochs=100

结果展示:

约束训练last.pt:

剪枝后的prune.pt:

回调后的finetune.pt:

可以看到精度损失很小,但是参数量和浮点运算量下去了很多,推理速度在cpu上测试是变快了的,gpu上好像没啥变化

剪枝前后各层通道数对比:

 

 

 

 

50篇必读论文的工程化精读方法论:从知识骨架到产业落地 深度学习知识体系并非线性堆砌,而是一个由核心概念、演进原理与工程约束共同塑造的动态拓扑结构。理解模型架构(如Transformer)、训练范式(如自监督学习)和评估逻辑(如鲁棒性与公平性权衡)的本质,关键在于把握其背后的技术动因与现实锚点。本文聚焦‘论文精读如何服务真实项目’这一高频实践诉求,系统拆解从学术主张到产线故障单的映射路径,融合‘知识拓扑图’与‘杠杆支点迁移’两大热词,提供可复用的四阶跃迁策略、预处理契约核查、指标语义审计等硬核方法,覆盖CV/NLP/边缘部署等主流场景,助力工程师跨越‘知道概念’ 阅读详情

相关推荐

AI落地实战:从迷人趋势到可拆解、可验证、可迭代的工程化路径

人工智能作为21世纪最具影响力的技术趋势,其核心价值不在于模型参数规模或算法新颖性,而在于能否转化为可测量、可部署、可协同的工程实践。理解AI的本质需回归基础概念——它是一套融合数据治理、轻量化建模与人类在环设计的技术体系;原理上强调问题匹配度优先于技术先进性,以最小可行单元(MVP)驱动闭环迭代;技术价值体现在降本增效的真实指标上,如合同审查漏审率压降至0.5%、单文档处理延迟低于1.2秒;典型应用场景覆盖制造业质检、法律合规、教育辅助与社区服务等碎片化一线工作流;本文聚焦‘AI是21世纪最迷人的技术趋势

hwpokay的专栏 455

YOLOv8模型剪枝实战:Network Slimming网络瘦身方法

YOLOv8是一个当前非常流行的目标检测器,本课程使用Network Slimming(网络瘦身)剪枝方法对YOLOv8进行模型剪枝,使其更加轻量和实用。Network Slimming是一种经典实用的模型压缩方法,可实现方便高效的通道级别的结构化剪枝。该方法通过利用BN(Batch Normalization)层中缩放因子较小的值来剪裁的相应通道,达到精简网络的目的。步骤包括:增加稀疏正则化的训练、网络模型剪枝、剪枝后的网络模型微调。本课程在YOLOv8 v8.1版本代码的基础上增加Network Slimming剪枝方法,在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程,并讲解原代码针对剪枝的修改和增加部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括:网络剪枝的基础知识、Network Slimming剪枝原理以及YOLOv8的网络架构。实战篇包括:PyTorch环境安装、YOLOv8项目安装、准备自己的数据集、修改配置文件、正常训练自己的数据集、稀疏化训练、网络模型剪枝、剪枝后的网络模型微调。代码解析篇包括:为剪枝修改和增加代码的讲解。  

果园采果机器人视觉识别:轻量CNN+规则引擎落地实践

图像识别是计算机视觉的基础任务,其核心在于从原始图像中准确提取目标的位置与语义信息。在真实工业场景中,识别性能不仅取决于模型结构,更受光照变化、遮挡干扰、边缘模糊及嵌入式算力限制等物理约束深刻影响。轻量CNN因其低延迟、高能效特性,成为边缘端视觉识别的主流技术路径;而规则引擎则通过融合手工特征与领域知识(如HSV色度分析、Laplacian纹理判据),显著提升模型可解释性与鲁棒性。该组合方案广泛应用于农业自动化、智能分拣、移动机器人等对实时性、可靠性与部署成本敏感的场景。本文聚焦果园采果机器人这一典型落地案

weixin_33994429的博客 496

剪枝与重参第七课:YOLOv8剪枝

剪枝与重参第七课:YOLOv8剪枝

周同学的博客 1万+

Seed-OSS:512K原生长上下文与可编程推理预算的范式革命

大语言模型的‘长上下文’能力正从简单支持走向原生重构——它不再仅是序列长度的扩展,而是涉及位置编码、注意力机制与内存管理的底层协同进化。随着超长上下文(如512K token)成为金融尽调、法律分析、医疗病历结构化等强逻辑任务的关键基础设施,模型能否在百页文档中维持术语指代一致性、跨段落追踪因果链、并动态分配‘思考资源’,已成为区分工程可用性与技术先进性的分水岭。Seed-OSS正是这一演进的典型代表:它通过动态位置感知(DPA)、分层稀疏注意力(HSA)和可编程的max_reasoning_tokens接

weixin_33754065的博客 336

【信息科学与工程学】【数据中心】第二十四篇 数据中心DaaS场景及算法

Flink, Kafka Streams, 时序数据库。Flink, Kafka Streams, 流处理引擎。Presto, ClickHouse, 查询加速引擎。Presto, ClickHouse, 查询加速引擎。延迟<50ms,可用性>99.99%,QPS>10K。REST API, GraphQL, API网关。Tableau, Power BI, 自助BI。Tableau, Power BI, 可视化库。Spark, Hadoop, 分布式计算框架。Spark, Hadoop, 分布式计算。

weixin_49199313的博客 1118

创业者必读的8篇高商业穿透力AI论文指南

AI论文不仅是学术成果,更是技术趋势与工程落地的关键信标。理解论文背后的原理,如注意力机制、模型缩放策略、链式推理提示等,能帮助非技术背景的创业者建立技术雷达,预判架构演进、识别部署瓶颈、优化算力投入。其核心价值在于将抽象算法转化为可量化的商业指标——响应延迟、API成本、硬件兼容性、客户投诉率下降等。尤其在AIGC、智能硬件、SaaS服务等主流创业场景中,精选2022–2024年已通过工业数据集验证、代码开源且含真实设备性能测试的论文,能显著提升技术决策前置能力与产品落地效率。

aiqixiao2017的博客 391

基于YOLOv8的药品包装目标检测:从数据集构建到模型部署实战

目标检测是计算机视觉的核心任务之一,旨在识别图像中特定物体的位置与类别。其原理通常基于深度学习模型,通过卷积神经网络提取特征,并利用边界框回归与分类头实现定位与识别。该技术在自动化、智能化领域具有重要价值,尤其在零售、物流等场景中,能显著提升效率与准确性。本文聚焦于一个具体的应用场景——药品包装识别,通过构建包含‘板蓝根颗粒’与‘999感冒灵’的专用数据集,详细阐述了从数据采集、标注(支持VOC与YOLO格式)、模型训练(以YOLOv8为例)到性能优化与轻量化部署的完整工程实践流程,为相关领域的算法落地提供

weixin_30600197的博客 357

【深度学习YOLO计算机视觉 | 毕设/课设/论文/】智科专业(机器学习,平时的课程作业接,需要的直接私我)

【深度学习YOLO计算机视觉 | 毕设/课设/论文/企业级解决方案】智科专业(机器学习,深度学习相关的技术栈都可以做,这里没有全部说明,平时的课程zuo ye也接)(注:关键技术点参考了YOLO官方文档 及PyTorch微调最佳实践 ,模型优化方案融合了剪枝量化等前沿技术 )模型优化方案:剪枝/量化/蒸馏技术、NVIDIA TensorCore加速、FP16混合精度训练。YOLO全流程开发:v5/v8/11模型训练调参、数据增强策略、自定义目标检测。

weixin_62296099的博客 337

零基础掌握yolov8剪枝

Before Pruning: MACs=129.092051 G, #Params=68.229648 M After Pruning: MACs=41.741203 G, #Params=20.787528 M

yolov8s模型进行剪枝源码

实现步骤: 1. yolov8s模型预训练 2. 模型稀疏化sparsity 3.剪枝 4. finetune 经过键枝后,finetune60个epoch达到原模型迭代52个epoch的mAP值0.78,模型的大小减少了2/5。

YOLOv5与微信小程序结合的AI质检实践

深度学习模型部署到移动端是当前AI工程化的重要方向,其中模型轻量化和端云协同是核心技术难点。通过TensorFlow Lite等框架可以实现模型量化压缩,配合微信小程序的生态能力,能够构建低延迟、高可用的AI应用。本文以YOLOv5模型为例,详细解析了从模型训练优化到小程序集成的完整链路,重点探讨了工业质检场景下的Retinex光照补偿、混合精度训练等实战技巧,以及WebGL加速、联邦学习等前沿方向。

446

yolov8 剪枝源码(集成多种剪枝策略)

支持以下的剪枝方法,代码一键运行,并配有md文档说明: (1) lamp 剪枝 (2) slimming 剪枝 (3) group slimming 剪枝 (4) group hessian 剪枝 (5) Taylor 剪枝 (6)Regularization 剪枝 等等

2026年AI课程深度评测:咕泡科技「人工智能深度学习」课程架构、实战项目与服务体系全解析(截至2026年7月)

【摘要】咕泡科技2026年7月更新的AI深度学习系统课程(第15期)聚焦前沿技术与产业需求,核心亮点包括: 技术前沿性:覆盖YOLOv14、SAM3、DeepSeekV4、GPT5.2等2025-2026年最新框架,新增LangGraph多智能体开发、vLLM推理优化等企业级内容; 实战导向:22个企业级项目(如工业缺陷检测、多模态RAG知识库),适配求职简历,实测指标精确标注; 具身智能新赛道:推出机器人全链路课程,联合10+企业提供内推,抢占万亿市场先机; 服务保障:腾讯云CDE实训平台支持,7天无理由

2601_96145126的博客 1290

三维点云孔洞修复(附Python代码和公共点云数据集链接)

(1)物体自身缺失(2)物体自身形状复杂,很多凹凸面不够规则甚至存在空腔,空腔内部无法被三维激光扫描仪扫描到(3)物体部分区域对激光扫描不敏感,未被扫描上(4)扫描仪的扫描稳定性。

yanghl1215的博客 6957

学习笔记之——Event Camera(事件相机)调研

概述 Event Camera是一种bio-inspired sensor,对应的领域为bio-inspired vision。对于传统的相机,从某种程度上,是捕获一个静态/静止的空间,而Event Camera的目的是:敏感地捕捉运动的物体。 对于传统RGB-camera,相机传回的信息是同步的,所谓同步,就是在某一时刻t,相机会进行曝光,把这一时刻所有的像素填在一个矩阵里回传,一张照片就诞生了。一张照片上所有的像素都对应着同一时刻。至于视频,不过是很多帧的图片,相邻图片间的时间间隔...

gwpscut的博客 3万+

深度学习毕设开题避坑指南:数据、算力与可行性验证

深度学习项目落地的前提是可行性验证,而非单纯追求模型先进性。其核心原理在于将算法选择置于真实约束下——包括数据可得性、硬件算力承载能力及结果可复现性。技术价值体现在规避‘高大上但不可行’的选题陷阱,保障毕业设计在有限时间(≤12周)、有限资源(单卡消费级GPU)和有限数据(本地可采集/公开可下载)条件下顺利完成。典型应用场景涵盖校园智能识别、实验室设备状态监测、食堂菜品分类等轻量级边缘部署任务。本文聚焦‘深度学习’与‘毕业设计’两大关键词,系统拆解开题阶段的数据获取路径核查、显存精准估算、模型轻量化策略及技

weixin_33796205的博客 378

Rockchip rv1126平台在gstreamer1中添加OpenCv实现视频流负片的效果

rv1126 gstreamer opencv negetive effect

Aisy_D的专栏 1466

开源AI模型从Demo到生产:部署评估与工程实践指南

开源AI模型作为机器学习领域的重要分支,通过算法创新和社区协作实现了技术民主化。其核心原理是基于公开数据集和算法代码,让开发者能够自由使用和修改模型。从技术价值看,开源模型显著降低了AI应用门槛,使中小企业也能享受顶尖算法红利。在工程实践中,容器化技术和模型标准化大幅提升了部署效率,而社区生态的完善则解决了生产环境中的各类实际问题。特别是在语音克隆、目标检测等应用场景中,开源模型如Omnivoice和YOLOv8已展现出接近商业方案的成熟度。本文通过实战经验,系统阐述如何评估模型效果、规避部署陷阱,并建立完

weixin_30911451的博客 434

测试丢包_电信IPRAN承载LTE业务丢包故障处理案例

银川 景旭阳电信IPRAN承载LTE业务丢包故障处理案例一.故障现象某地市IPRAN网络承载LTE基站业务,客户反馈近期丢包严重,基站侧ping侧核心网EPC丢包达到10%左右;且基站数量在10个左右,并分布在同一地区,需要IPRAN网络协助排查;随后查看了IPRAN网络;发现这些业务所在基站的PW-BFD历史告警存在频繁的UP/DOWN告警;综上信息展开故障处理,初步判断由于BFD频繁...

weixin_29740921的博客 1915

架构——异地多活成熟的架构模式

摘要: 本文系统介绍了三种异地多活架构模式:业务定制型、业务通用型和存储通用型。业务定制型针对核心业务定制化设计,复杂度低但扩展性差;业务通用型通过统一配套服务(流量调度、配置中心等)实现多业务兼容,适合业务量大但一致性要求不高的场景;存储通用型依托分布式一致性数据库(如OceanBase、TiDB)天然支持强一致性,适合金融等高要求场景,但对部署距离和成本有较高限制。文章对比了各模式的优缺点及适用场景,为不同业务需求下的架构选型提供了实践指导。

小志的博客 7105

嵌入式AI工程师技能地图:从MCU部署到工业落地的十年演进

嵌入式AI不是AI算法在单片机上的简单移植,而是面向资源受限环境的系统性工程重构。其核心在于建立硬件约束(如Cortex-M系列内存墙、实时性边界、DMA时序)与AI模型需求(量化精度、算子兼容性、推理延迟)之间的可验证映射关系。关键技术包括ONNX模型轻量化、CMSIS-NN/TFLite Micro底层优化、RTOS中AI任务调度设计,以及工业场景下的温度自适应、EMC鲁棒性与OTA原子升级。该领域高度依赖裸机调试能力、芯片手册精读习惯和跨层问题定位经验——例如用示波器校验GPIO翻转以验证50ms级推

cuankuangzhong6373的博客 284

开箱即用的Platform IO开发平台(包括Arduino,ESP8266,ESP32,STM32)

开箱即用的 Platform IO 离线开发环境,包含(ESP32,ESP32S2,ESP8266,Arduino,STM32)

qq_19703307的博客 758

YOLOv8模型剪枝实战:DepGraph(依赖图)方法

YOLOv8是一个当前非常流行的目标检测器,本课程使用DepGraph(依赖图)剪枝方法对YOLOv8进行网络剪枝,使其更加轻量和实用。DepGrapg剪枝方法发表于CVPR 2023,是一种通用和自动的结构化剪枝方法。它明确建模网络层之间的相互依赖关系,并全面地对耦合参数进行分组,方便剪枝处理。基于DepGraph算法开发的PyTorch结构化剪枝框架 Torch-Pruning是一个结构化剪枝库,与现有框架(如torch.nn.utils.prune)最大区别在于,它会物理地移除参数,同时自动裁剪其他依赖层。本课程在YOLOv8 v8.1版本代码的基础上增加DepGraph剪枝方法,在Windows和Ubuntu系统上演示针对自己的数据集训练和进行网络剪枝过程,并讲解DepGraph剪枝原理和用于YOLOv8的DepGrapgh剪枝脚本代码。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括:网络剪枝的基础知识、DepGraph剪枝原理以及YOLOv8的网络架构。实战篇包括:PyTorch环境安装、YOLOv8项目安装、准备自己的数据集、修改配置文件、正常训练自己的数据集、YOLOv8模型DepGraph剪枝、剪枝微调后的模型测试和使用。代码解析篇包括:介绍Torch-Pruning工具包和讲解YOLOv8的DepGrapgh剪枝脚本代码。

45、数据挖掘学术文献推荐

本文是一篇关于数据挖掘领域的重要学术文献推荐,涵盖了经典理论与最新研究成果。内容包括关键研究论文、综述文章、教科书和专著的介绍,以及来自顶级会议和期刊的出版物推荐。此外,还探讨了数据挖掘与其他领域的交叉研究,如机器学习、统计学和数据库系统,并列举了多个实际应用案例。最后,分析了数据挖掘的未来发展趋势,如更加智能化的算法、高效的计算平台及隐私保护技术。无论是初学者还是专业人士,这些文献都将提供宝贵的学习资源和前沿动态。

qsc90123456的博客 230

2026华为OD机试真题 10月28日 新系统 - AI推理任务并行额度

华为OD机试真题 新系统【AI推理任务并行额度】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【AI推理任务并行额度】多语言题解.

qq_45776114的博客 287
上一篇: 解决yolo(txt)格式数据集,类别不平衡
下一篇: 可见光+红外数据集(已处理,YOLO可直接训练)
Dneccc
博客等级 码龄6年 1705粉丝 41原创
评论 118
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dneccc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址