模型压缩:量化、剪枝和蒸馏

模型优化——模型剪枝、模型量化、知识蒸馏 阅读详情
AI摘要

文章介绍了BERT模型的结构及其在存储和计算资源上的挑战,提出了三种主要的压缩方法:量化、剪枝和蒸馏。量化通过降低数据精度来减少存储空间和计算量,剪枝通过移除冗余参数或结构来减小模型大小,而蒸馏则通过知识转移从大型教师模型到小型学生模型来压缩模型。MobileBERT作为蒸馏的示例,展示了在保持性能的同时大幅度压缩模型的可能。

点击上方“小白学视觉”,选择加"星标"或“置顶”

重磅干货,第一时间送达

编者荐语

 

近年来,BERT 系列模型成了应用最广的预训练语言模型,随着模型性能的提升,其参数规模不断增大,推理速度也急剧提升,导致原始模型必须部署在高端的GPU 显卡上,甚至部分模型需要多块显卡才能正常运行。

转载自丨博文视点Broadview


前言

在移动智能终端品类越发多样的时代,为了让预训练语言模型可以顺利部署在算力和存储空间都受限的移动终端,对预训练语言模型的压缩是必不可少的。本文将介绍针对BERT(以Transformer Block 堆叠而成的深度模型)的压缩方法。

01

BERT模型分析

想要深度压缩BERT,必须对模型各部分有更为深入的了解,前面的文章已经详细介绍过Transformer 和BERT 的结构,此处不再解释各模块的具体功能。

BERT 的结构拆分如图1 所示,根据具体的实现逻辑,可以分为Embedding 层、Linear before Attention 层、Multi-Head Attention 层、Linear after Attention 层和Feed Forward 层,后4 层属于Transformer Block 内的模块,所需存储空间和推理耗时都会随着层数的增多而增多。

7c3297f15406c59db569a51e99722121.jpeg

图1 BERT 的结构拆分

BERT 的大小可以用3 个超参数来衡量,即L、H 和A,其中L 表示Transformer Block 的层数,H 表示隐层向量的维数(等于Embedding 层输出向量的维数),A 表示Self-Attention 层的头数。

通过这3 个超参数,可以基本知晓BERT 的各模块大小,L 和H 决定了模型的宽度和深度,A决定了模型Attention 的多样性。以  为例分析3 个超参数,其中L 为12,H 为768,A 为12,模型各层所占存储空间和算力,如图2所示。

b03a90186c509e9eb4787b4aa2d083bf.jpeg

图2 BERTBASE 各层所占存储空间和算力

显然,在数据存储空间方面,Feed Forward 层占据了约一半的空间,Embedding层和Linear before Attention 层分别占据约四分之一的空间,而最核心的Multi-Head Attention 层几乎不占存储空间,这里所谓的存储空间可以等效为模型参数的数量。

在推理计算量方面,Feed Forward 层消耗了超过一半的计算资源,而Embedding 层几乎不需要算力。

通常,参数越多,所需算力越大,此处较为特殊的是Embedding 层和Multi-Head Attention 层,前者是因为Embedding 操作本质上是查表操作,所以占据较大的存储空间,却不需要算力,而后者是因为计算不同词的   矩阵乘积,没有用到模型的权重矩阵,所以不需要存储空间,但需要一定的算力。其余层(多为普通的全连接层)的参数量级计算过程并不复杂,读者可自行计算。

理论计算所需的运行耗时和实际推理时间并不完全一致,在英伟达Titan X GPU 上运行  ,利用TensorFlow 工具可以得到模型各层的推理所占时间,如图3所示。

404d81df10da0a7afdb9605341a5ddbe.jpeg

图3 BERTBASE 推理所占时间分析

实际推理时间大致与各层所需算力正相关,但Multi-Head Attention 层所需的实际运行耗时远大于其理论值,这是因为  在计算时需要先求  和  的乘积,使用Softmax 函数后再与  求乘积,这个串行的计算过程消耗了不少时间。

通过分析   所占存储空间、所需理论算力及模型实际运行时间,明确了BERT 各模块的特性与瓶颈,这将帮助读者理解BERT 模型压缩的各类方法。

02

量化

模型量化是指将模型权重参数用更少的比特数存储,以此来减少模型的存储空间和算力消耗。

例如,BERT 原本是以fp32 精度(float precision 32bit,单精度4 字节浮点数)运行的,若转换成fp16 精度(float precision 16bit,半精度2 字节浮点数),则存储空间立刻减少一半,在针对fp16 精度优化的运算设备上(如英伟达T4/V100 GPU 或FPGA 平台),运行速度也可以得到显著提升。

量化是一种通用的压缩方法,适用于几乎所有的深度模型,学术界已经证实,全连接层是对量化操作十分友好的结构,而BERT 中大部分模块都由全连接层组成,因此BERT 对于量化操作是比较友好的。

值得注意的是,Embedding 层(并不属于全连接层)对于量化操作较为敏感,在实际操作中应避免对Embedding 层做量化操作。

数据精度降低之后,模型的质量肯定也会有所下降,一般可以通过量化后训练(Quantization Aware Training,QAT)来缓解。

具体而言,在对模型参数进行直接量化操作或精度截断之后,用训练数据继续训练量化后的模型,以缓解量化造成的精度损失,这是常见的量化压缩流程。

正常的均匀量化可以通过TensorFlow Lite Toolkit 或其他量化工具实现。

除此之外,还可以通过  均值聚类等量化操作获得更大的压缩比。读者可自行搜索相关文献或开源代码。

03

剪枝

模型剪枝是指去除模型参数中冗余或不重要的部分,这个过程与哺乳动物幼年神经突触消失的过程极为相似。

剪枝是提高推断效率的方法之一,它可以高效地生成规模更小、内存利用率更高、能耗更低、推断速度更快的模型。

就BERT 的剪枝而言,可以大致分为以下两类:元素剪枝(Elementwise Pruning,EP)和结构剪枝(Structured Pruning,SP)。

元素剪枝又被称为稀疏剪枝,聚焦于模型单个参数元素。

若单个参数元素绝对值过小或对模型不重要,则可以通过将其置为0 元素来减小存储空间,缩短推理时间。

对模型不重要的定义可以是对目标函数影响小,也可以是对梯度更新影响小等自定义的客观衡量标准。

元素剪枝对全连接层相对友好,因此BERT 使用元素剪枝可以获得不俗的压缩比,同时可以保证一定的精度。

结构剪枝聚焦于去除模型结构的冗余,以精简模型结构来减小模型的存储空间,满足算力需求。

结构剪枝更具有针对性,不同于元素剪枝适用于所有模型,对于不同的模型结构,结构剪枝可以设计不同的剪枝策略。以BERT 为例,一般有两种结构剪枝策略:Attention 头剪枝和层剪枝。

(1)Attention 头剪枝:BERT 的Multi-Head Attention 层在推理时间中占比排第二。有研究表明,Multi-Head Attention 层存在较大的冗余,因此BERT 的12-Head Attention 可以通过剪枝变为4-Head 甚至更少,这样的剪枝操作可以大大缩短Multi-Head Attention 层的推理时间。

(2)层剪枝:BERT 是由多层Transformer Block 堆叠而成的,层数越多,模型所需的存储空间越大,推理时间也越长。训练时常用的Dropout 操作有助于模型收敛得更稳定,故通过删除个别不重要的层来减少模型参数,加速推理是完全可行的。不重要的层可以通过比较目标函数值大小和L1 正则化值的大小等方法来定位。

剪枝操作也会对模型带来精度损失。

一般而言,根据剪枝流程的位置,可以将剪枝操作分为两种:训练时剪枝和后剪枝。

训练时剪枝其实和训练时使用Dropout 操作较为类似,训练时剪枝会根据当前模型的结果,删除不重要的结构,固化模型再进行训练,以后续的训练来弥补部分结构剪枝带来的不利影响,避免模型因为剪枝操作而造成的精度陡降。

后剪枝则是在模型训练完成后,根据模型权重参数和剪枝测试选取需要剪枝的部分,比较粗暴,但与训练时剪枝所需的额外计算量和控制流程相比,后剪枝是较为简单的做法。

Keras 模型的剪枝操作可以通过2019 年发布的Tensor-Flow Model Optimization Toolkit 工具实现。PyTorch 模型的剪枝操作可以通过torch.nn.utils.prune 工具实现。

04

蒸馏

量化和剪枝是最常用的模型压缩方法,有成熟的配套工具,但为了保证一定精度,其压缩比一般较小,还不足以让BERT 在移动设备的芯片上运行。

蒸馏的全称为知识蒸馏(Knowledge Distillation,KD),是2015 年由深度学习开山鼻祖Hinton 提出的一种模型压缩方法,是一种基于教师-学生网络思想的训练方法。

蒸馏已经成为压缩模型的主流方法之一,可以与量化和剪枝叠加使用,达到可观的压缩比。

在知识蒸馏使用的教师-学生(Teacher-Student)网络中,教师模型是“知识”的输出者,学生模型是“知识”的接受者,整个过程分为两个阶段。

(1)教师模型训练:教师模型一般为参数量巨大,结构相对复杂的待压缩的模型,简称为Model-T。教师模型一般由大量数据训练而成,性能指标高于蒸馏后的学生模型。

(2)学生模型训练:学生模型一般为参数量很小,结构相对简单的模型,简称为Model-S,其训练过程以学习Model-T 为主,而不是学习数据的真实标签。

根据学生模型学习的目标,可以将BERT 的蒸馏方法分为以下三类:基于输出概率蒸馏、基于隐层蒸馏和基于Attention 层蒸馏。

下面通过两个经典的BERT 蒸馏模型讲解蒸馏的思想和具体实现。

1. Distilled BiLSTM

Distilled BiLSTM是一个从BERT 蒸馏得到的双向LSTM 模型,即教师模型为精调后的  ,学生模型仅为一个轻量级的单层双向LSTM 模型。

具体模型结构根据任务类型分为两种:输入为单句文本的模型(如图4 所示)和输入为句对文本的模型(如图5 所示)。

a44d315b9c1d08703ab87fcb00418b0d.jpeg

图4 Distilled BiLSTM 的模型结构

ff24217dd91c8346e667f06e6b4d78a7.jpeg

图5 Distilled BiLSTM 的模型结构2

由于BERT 和LSTM 的模型结构差异太大,只能通过基于输出概率蒸馏的方法进行知识传递,具体公式如下:

b98a918784c14b73f8bab0cea06c0513.png

其中,  表示输出类别概率,  是输入Softmax 层的向量,定义蒸馏误差  为教师模型和学生模型的  均方差,则BiLSTM 的最终目标函数可以由真实标签的交叉熵  和蒸馏误差  加权构成。

其中,  为类别  的One-hot 标签,  是学生模型的最终输出概率,两者相乘便是真实标签的交叉熵  ,而  是权重常系数。采用交叉熵和蒸馏误差的加权和作为目标函数的好处是,学生模型不仅可以从教师模型学到知识,还可以根据下游任务的训练数据进行无教师监督学习,只需要调整超参数  ,即可在交叉熵和蒸馏误差之间切换。

从结果看,在BERT 和LSTM 的模型结构差异过大的情况下,用LSTM模型作为学生模型来蒸馏BERT 的知识,取得了不错的效果,在下游任务的表现上远超用BiLSTM 直接训练得到的模型,说明蒸馏模型学会了浅层模型不容易学会的拟合泛化能力。

虽然Distilled BiLSTM 相较于BERT 有不少性能损失,但是其模型体积相较于BERT 压缩了约99.7%,推理速度快了400 倍,压缩力度之大远超想象。

2. MobileBERT

一般的知识蒸馏都会使用与教师模型结构相似的学生模型,模型结构不是变浅就是变窄,MobileBERT就是把BERT 变窄,作为学生模型的经典模型之一。

MobileBERT 采用和  一样的层数,通过在每一层Transformer Block 中添加bottleneck(瓶颈)层,让每一层变得更窄。

由于原始的BERT 不存在bottleneck 层,为了顺利进行知识蒸馏,需要先通过训练得到一个特殊设计的教师模型,即一个包含Inverted-bottleneck 结构的  ,称之为  。

随后,将训练得到的  教师模型迁移到学生模型MobileBERT 中,三个模型的结构如图6 所示。

9d7c0ee45be87e347d04d61761c9e01e.jpeg

图6 三个模型的结构

bottleneck 层本质上就是一个变换特征向量维度的全连接层,结合图6,很容易理解MobileBERT 的模型结构,如表1所示,body 模块中的Linear 层就是新增的bottleneck 层,其余部分与BERT 一致。

表1 几个模型的参数规模对比

d4dedfa2d9f7ceac6ffa12732a81bbda.jpeg

从参数规模上看,  比  略小,而MobileBERT 在  的基础上,模型体积压缩了90%。

训练MobileBERT 这样既深又窄的深度网络是很困难的任务。为了让蒸馏训练更稳定,MobileBERT 采用了阶梯式层级训练法,如图7所示。

80763353726449bd69a6227caaca03a5.jpeg

图7 MobileBERT 的阶梯式层级训练法

先自下而上逐层训练学生模型,当学生模型的每一层输出都与教师模型接近时,才训练下一层。逐层蒸馏根据训练目标的不同也分为基于隐层蒸馏和基于Attention 层蒸馏。

具体而言,基于隐层蒸馏被称为特征映射迁移(Feature Map Transfer,FMT),将MobileBERT 的每一层Transformer Block 的输出都与  对齐,目标函数为

ffddb955ed446c43de3e65775a7d6b66.png

其中,  是层号,  是输入文本序列的长度,  是隐层特征向量的维数,  表示教师模型第  层网络第  个词的第  个位置的特征值。

同理,  表示学生模型对应位置的特征值,将教师模型和学生模型在对应位置的特征值求得的均方误差作为逐层蒸馏的目标函数。

基于Attention 层蒸馏被称为Attention 迁移(Attention Transfer,AT)。

由于BERT 最重要的结构就是Self-Attention,所以Attention 迁移能让学生模型学习教师模型的Self-Attention 层特征,从而辅助学生模型增强文本语义理解方面的能力。

在具体实现上,将MobileBERT 和  的每个Attention 头的输出特征向量的KL 散度作为目标函数,具体如下:

cc621b238d86cfc295bf1b1eaa66df4d.png

其中,  是层号,  是输入文本序列的长度,  是Self-Attention 的头数,  表示教师模型第  层网络第  个头的输出向量分布,  表示教师网络和学生网络输出分布的KL 散度,以KL 散度的均值作为Attention 迁移的目标函数。

MobileBERT 在逐层蒸馏的过程中使用了特征映射迁移和Attention 迁移。为了加快模型的推理速度,相比于BERT,MobileBERT 还做了以下两个改动:

(1)用线性层归一化代替原有的层归一化,即取消原有层归一化中的非线性操作,以得到加速推理的效果。

(2)用ReLU 激活函数代替GeLU 激活函数,简化激活函数换取推理加速。

总体而言,MobileBERT 作为任务无关的BERT 压缩模型,压缩比高达10 倍,配合量化可以达到40 倍,最关键的是其在多数文本理解任务上的性能与  相当。

得益于小体积和极快的推理速度,MobileBERT 可以轻松运行在各类终端移动设备上。

05

结构无损压缩

除了常见的量化、剪枝和蒸馏,还有一些与模型结构强依赖的压缩方法,这些方法不会更改模型的结构,故归为结构无损的压缩方法。

本节将简单介绍以下三类结构无损的压缩方法:参数共享、低秩分解和注意力解耦。

参数共享和低秩分解在介绍ALBERT 时已经讲解过,参数共享是指模型共享所有Transformer Block 层参数,以达到减小存储空间的目的,而低秩分解特指Embedding 层通过因式分解变成更小的Embedding 层和一个线性层,达到减小参数规模的目的,具体介绍见《预训练语言模型》一书的6.8 节。

值得注意的是,这两个方法只能减小模型的存储空间,并不能加速推理过程。

注意力解耦适用于句对任务,因为在原始的BERT 中,输入文本为两个句子时,每个词都需要与其他的词做Self-Attention 运算,即句子A 中的词需要与句子B 中的词做矩阵运算。这时会产生运算冗余,因为句对任务最后依赖于标签[CLS] 的输出特征,而在逐层抽象语义特征的过程中,句子A的语义抽取过程不需要与句子B 产生关联,即可以通过Self-Attention 运算的解耦达到减少运算量的目的,加快推理过程。

同样值得注意的是,Multi-Head Attention 层不占用存储空间,所以注意力解耦虽然不会减小模型体积,但是可以加快模型推理速度。

好消息!

小白学视觉知识星球

开始面向外开放啦👇👇👇

ea085275ab8d0eaf961a04129493d640.jpeg

下载1:OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。


下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
深度学习的量化和剪枝 如果要将深度学习的AI模型部署到受限设备(FPGA)上,往往需要更小的存储需求和最低的计算复杂度。当然,还得保持一定的性能(下降在能够接受的范围)。受限设备资源的环境,一般是指的手机,嵌入式系统。而要达到这种要求,采用的方法就是量化和剪枝了。 阅读详情

相关推荐

YOLO26模型压缩技术:剪枝、量化与蒸馏实践

模型压缩是深度学习部署中的关键技术,通过在精度和效率之间寻找平衡点,使大模型能够在资源受限的边缘设备上高效运行。其核心原理包括剪枝(移除冗余参数)、量化(降低数值精度)和知识蒸馏(小模型模仿大模型)。这些技术能显著减小模型体积、提升推理速度,同时保持较高准确率。在计算机视觉领域,YOLO系列模型因其实时性优势,常需要压缩后部署到移动端和嵌入式设备。以YOLO26为例,结合结构化剪枝和混合量化技术,可实现8倍体积压缩,同时保持97%的原始精度。模型压缩技术已广泛应用于智能安防、移动端AI和工业质检等边缘计算场

weixin_34262482的博客 414

AI学习_模型优化:剪枝、蒸馏、量化

模型优化:剪枝、蒸馏、量化

qq_41848886的博客 5461

模型蒸馏在自然语言处理中的应用有哪些?

作者:禅与计算机程序设计艺术 1.简介 模型蒸馏(Model Distillation)是一种将一个复杂的大模型压缩成一个小模型的过程。传统的模型压缩方法会丢失模型的一些特性或细节信息,导致最后得到的小模型效果欠佳。而模型蒸馏则可以保留这些细节信息,从而提升最终模型的性能。蒸馏的方法可以分为三种:软模型

AI天才研究院 1705

【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述

​ 模型部署优化这个方向其实比较宽泛。从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小,提高推理速度等,使得模型能够成功部署在各个硬件之中去并且实时有效的运作。 ​

向往有那么一天梦幻的步态识别落地,开花❀! 2万+

模型压缩技术:剪枝、量化与知识蒸馏实战

模型压缩技术:剪枝、量化与知识蒸馏实战,在深度学习领域,模型的性能往往与模型的规模紧密相关,更大的模型通常能学习到更复杂的模式,从而在任务中取得更好的效果。然而,随着模型规模的不断增大,其在实际应用中面临着诸多挑战,如内存占用高、计算资源需求大、推理速度慢等问题,这使得在资源受限的设备(如移动设备、嵌入式设备)上部署变得困难重重。模型压缩技术应运而生,它旨在在尽可能保持模型性能的前提下,通过各种方法减少模型的参数数量和计算量,提高模型的效率和可部署性。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 5万+

信号完整性分析学习--16--传输线效应

传输线效应 说到传输线效应,大多数人都会想到一个经验法则,那就是: “当互连线的长度大于1/6倍的信号上升时间的空间延伸时,互连线就体现出传输线效应。” 上升时间越小越容易体现传输线效应。 由此可见,同一根互连线,它是否体现传输线效应,要看它要传输什么样的信号。下图所示,一根延时为15ps的互连线,当它传输上升时间为60ps的信号时就会体现传输线效应;当它传输上升时间为180ps的信号时就不体现传输线效应。

qq_29476769的博客 7292

模型压缩方法:量化(Quantization)、剪枝(Pruning)、蒸馏(Knowledge Distillation, KD)、二值化(Binary Quantization)

深度学习模型日益庞大,给存储、计算和推理带来挑战。模型压缩技术旨在减少计算复杂度并加速推理,主要包括量化(Quantization):降低参数精度(如 FP32 → INT8),减少存储需求并提升计算效率。剪枝(Pruning):移除冗余权重或结构,使模型更轻量化。知识蒸馏(Knowledge Distillation):让小模型学习大模型知识,在减少计算量的同时保持性能。二值化(Binary Quantization):将权重和激活值限制为 0/1 或 -1/+1,大幅提升推理速度,适用于低功耗设备。

weixin_61911419的博客 1719

GBase8a-GDCA认证考试-复习参考题

为提升产品服务水平定期举办GBase产品认证培训,培训更多GBase数据库专业人员,满足用户快速成长的业务需求,建设GBase产品生态。请注意甄别,根据所学知识综合判断,正确率97%(97分)。

weixin_41826637的博客 2388

模型压缩技术:综述【模型蒸馏/Distillation;量化/Quantization;剪枝/Pruning;参数共享】

BERT 在很多 NLP 任务上都取得不错的效果,但是其模型体积与计算量都很大,而且现在出现了更多越来越大的模型,例如 roBERTa 和 GPT2。由于这些模型的太大,难以用于一些性能没那么好的机器上,也不能很好地用于实时性要求高的应用中。因此有不少针对 BERT 模型压缩的研究,其中模型蒸馏 Distillation 是一种比较好的解决方法,本文介绍两种基于模型蒸馏的 BERT 模型压缩方法。 上图展示了很多基于 Transformer 的模型,模型下方的数字对应了模型的参数数量,单位是百万,可以看到

u013250861的博客 2354

【虚幻引擎】UE4初学者系列教程基础篇-全中文新手入门教程(UE5系列继续更新)

菜单栏菜单栏当中有文件、编辑、窗口帮助。文件当中可以进行一个关卡的新建、关卡的打开、关卡的保存还有就是打包项目,(项目大于关卡,项目里面可能有几百个关卡),这是比较常用的几个,这里可以看到打包当中有安卓端HTML5端,IOS端linux,还有就是TVOS(苹果电视)、windows的一些端口的一些设置。还可以打开最近打开的项目。关卡编辑器:工具栏3.3 “模式”面板保存所有:ctrl+shift+s(有的软件截屏也是这个按键需要注意)3.4 “内容浏览器”面板缩放:ctr+鼠标滚轮3.5.视口面板。

qq_45206556的博客 2万+

卷王问卷考试系统——测试报告

本问卷考试系统是一款在线平台,支持用户发布和完成调查问卷,并进行考试管理,核心功能在于简化问卷创建发布、数据收集及考试组织流程。此次测试将围绕其关键模块展开,涵盖用户注册登录、项目列表、我的练习以及我的题库等核心部分。问卷考试系统(一)硬件环境普通办公电脑(CPU:Intel i5 、内存:16GB 、硬盘:512GB )(二)软件环境操作系统:Windows 11 ;浏览器:Chrome(版本 120+)、Firefox(版本 115+)、Edge(版本 120+)验证界面信息在完整性、一致性、准确性和用

m0_73433755的博客 559

模型压缩技术:模型剪枝、量化与蒸馏原理

年来,神经模型在几乎所有领域都取得了成功,包括极端复杂的问题。然而,这些模型体积巨大,有数百万(甚至数十亿)个参数,因此不能部署在边缘设备上。知识蒸馏指的是模型压缩的思想,通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后,通过尝试复制大网络在每一层的输出(不仅仅是最终的损失),小网络被训练以学习大网络的准确行为。相比量化,知识蒸馏也存在不可控性,但是知识蒸馏的效果远远优于剪枝。

weixin_36998410的博客 1976

QEMU pcie config空间访问机制

而pci_host_conf/data_le_ops的定义是在hw/pci/pci-host.c里,对于0xCF8端口的处理,因为是地址选通,所以只需要在write的时候记录、read的时候返回记录的值即可。而pci_host_config_write/read_common接口,在前256Bconfig空间的模拟中,也同样是会调用这个接口,所以后续的处理都是一样的。这是真实的硬件设计,而对于QEMU+KVM的虚机场景,显然是要基于硬件实现和虚拟化的需求设计虚机访问config空间的完整流程。

leiyanjie8995的博客 1956

模型压缩核心概念:剪枝+量化+蒸馏理论入门

只要你真心想学习AI大模型技术,这份精心整理的学习资料我愿意无偿分享给你,但是想学技术去乱搞的人别来找我!在当前这个人工智能高速发展的时代,AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长,真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料,能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享!!!vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座,技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等,欢迎大家~】

Android_XG的博客 882

SRT公网点对点传输及搭建SRT流媒体服务器

SRT是一种开源传输技术,它是基于UDP协议的,与RTMP不同的是,它具有高码率低延迟的传输特性,加强了在复杂不稳定网络环境中的传输可靠性,提升了不可预测的网络环境上的流传输性能。它不像NDI那样只适用于局域网传输,它更适用于公网环境下的信号传输。 S代表Secure,即安全加密的视频流,R代表Reliable,即具有从数据严重丢包中恢复的可靠性,T代表Transport,即动态适应变化的网络状况。 在音视频数据包传输的过程中,SRT会检测并适应两个传输点之间的实时网络状况,有助于补偿由于网络的拥塞而引起的

罗宇。的媒体技术工作室 1万+

lp–mspm0g3507开发板进入低功耗模式怎么退出?烧程序烧着烧着就进来了,跳线帽没动过,且报错:Texas Instruments Debugger Error: DAP Co...如何解决?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 1575

模型压缩技术深度解析:量化、蒸馏与剪枝

模型压缩技术已成为深度学习实际应用的关键使能器。量化、蒸馏和剪枝作为三大支柱技术,各有特点又相辅相成。实际应用中,工程师需要根据目标硬件、性能需求和开发周期选择合适策略或组合。随着边缘计算和物联网发展,模型压缩将继续扮演重要角色,推动AI向更高效、更普惠的方向发展。

Xyz_Overlord的博客 1065

使用菱FX5U系列PLC实现以太网通信的具体方法示例

接下来,我们将创建一个简单的CPU通信功能,以实现与其他设备的以太网通信。在上述代码中,我们首先设置访问号,然后创建一个数据读取命令(M_READ)和一个数据写入命令(M_WRITE)。此外,在实际应用中,您还需要确保PLC和其他设备之间的网络连接正常,并且遵循相应的通信协议。在上述代码中,我们执行了数据读取命令,并将接收到的响应存储在M_RESPONSE变量中。通过简单CPU通信功能,菱FX5U系列PLC可以实现与其他设备的以太网通信。我们将提供相应的源代码和详细的说明,以帮助您轻松实现这一功能。

DevCyberX的博客 1529

模型压缩:剪枝、量化、蒸馏

在模型应用程序中,推理时间是至关重要的,模型压缩是缩短推理时间的有效办法,常见的模型压缩方法有剪枝、量化和知识蒸馏

金闪闪_Li的博客 3430

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

深度学习之模型压缩三驾马车:模型剪枝、模型量化、知识蒸馏

深度学习模型压缩技术是实现大模型轻量化部署的关键,主要包括模型剪枝、量化和知识蒸馏三种方法。模型剪枝通过移除不重要权重或通道来减小模型体积;量化将高精度参数转为低精度格式(如FP32到INT8)以提升速度;知识蒸馏则让小模型模仿大模型的行为来保持性能。这三种技术可单独使用或组合应用,例如先剪枝再量化,或蒸馏后结合量化。实践表明,通过协同优化能实现模型体积缩小4倍、推理速度提升2倍以上,同时精度损失控制在1%以内,使ResNet、YOLOv8等复杂模型得以部署到手机、摄像头等资源受限设备,推动AI技术在实际场

ak47maker的博客 2085

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

CNN 模型压缩:剪枝、量化与知识蒸馏

CNN 模型压缩是深度学习部署的关键技术,通过剪枝、量化和知识蒸馏等方法,可以显著减少模型大小和计算量,同时保持模型性能。不同的压缩方法各有优势,需要根据具体的部署场景选择合适的方法。技术演进的内在逻辑:从简单的参数裁剪到复杂的知识迁移,模型压缩技术的发展反映了对深度学习模型效率的不断追求。随着硬件技术的进步和算法的创新,模型压缩将在边缘计算、移动应用等领域发挥越来越重要的作用。在实际应用中,应根据部署环境的资源限制、精度要求和推理速度需求,选择合适的压缩方法或组合策略,以达到最佳的性能-效率平衡。

lady_mumu的博客 3375

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

YOLOv5模型压缩:剪枝、量化、蒸馏完整教程

你是否遇到过这样的困境:训练好的YOLOv5模型在GPU上表现出色,但部署到边缘设备时却因体积过大、速度过慢而无法使用?随着深度学习模型在计算机视觉领域的广泛应用,模型的轻量化已成为工业落地的关键瓶颈。本文将系统介绍YOLOv5模型压缩的三大核心技术——剪枝、量化与知识蒸馏,通过实战案例带你掌握从模型优化到部署的全流程解决方案。 读完本文,你将能够: - 使用L1非结构化剪枝减少模型参数30%+...

gitblog_00234的博客 1293

大模型压缩技术:量化、蒸馏与剪枝实战指南

模型压缩是深度学习工程化落地的关键技术,通过量化、知识蒸馏和参数剪枝等方法,能有效解决大模型的内存占用、推理延迟和部署成本问题。量化技术如8bit量化可减少模型体积并提升推理速度,知识蒸馏通过教师-学生模型框架传递知识,而参数剪枝则移除冗余连接。这些技术在金融风控、客服机器人等实时场景中尤为重要,结合TensorRT等部署工具,能实现显著的性能优化。当前,HuggingFace的optimum库等工具链大大降低了压缩技术的使用门槛。

weixin_42526415的博客 208

模型压缩技术详解:剪枝、量化与知识蒸馏,让你的大模型轻量化部署

本文系统介绍了深度学习模型压缩的三大核心技术:剪枝通过移除冗余连接减少参数;量化降低数值精度实现存储压缩;知识蒸馏采用"教师-学生"模式让大模型指导小模型学习。文章还详细阐述了技术组合的最佳顺序:知识蒸馏→剪枝→量化,帮助优化模型实现更小尺寸、更快推理速度和边缘设备部署能力。

weixin_55154866的博客 979

YOLO目标检测模型压缩技术综述:蒸馏、剪枝、量化

在边缘设备部署YOLO模型面临体积大、延迟高的挑战,知识蒸馏、剪枝与量化成为关键解决方案。蒸馏让小模型学习教师网络的软标签,提升精度;剪枝通过移除低贡献通道减少计算量;量化将浮点运算转为整数,显著加速推理。三者协同可在保持高精度的同时大幅压缩模型,适用于工业检测等实时场景。

weixin_42348783的博客 1082

深度学习模型压缩三剑客:剪枝、量化与蒸馏的实战指南

本文深入探讨深度学习模型压缩的三大核心技术:模型剪枝、模型量化与知识蒸馏,提供实战指南与优化策略。通过剪枝移除冗余参数、量化降低计算精度、蒸馏迁移知识,实现在保持模型性能的前提下大幅减小模型体积与加速推理。文章包含代码示例与工业级应用案例,帮助开发者高效部署轻量级AI模型。

weixin_30316097的博客 638
上一篇: 精华!Docker 常用命令大全
下一篇: 计算成像技术
小白学视觉
博客等级 码龄8年 1万+粉丝 2210原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址