一文搞懂 蒸馏、量化、MoE 和 MHA !!

【LLM基础知识点整理】大模型的量化和蒸馏 大模型量化是指将深度学习模型中使用的浮点数表示转换为低精度整数表示的过程。这通常涉及选择合适的量化比特数和方法,以减少内存占用和推理时间,同时尽量不损失太多准确性。 阅读详情

文章目录


一、知识蒸馏(模型压缩)技术

1. 什么是知识蒸馏

知识蒸馏(Knowledge Distillation)是一种模型压缩技术,通过训练小型 “学生模型” 模仿大型 “教师模型” 的输出分布,实现知识迁移。其核心在于利用教师模型的软标签(概率分布)而非硬标签,传递更丰富的类别间关系信息。14年 NIPS 上由Google 的 Hinton 发表的《Distilling the Knowledge in a Neural Network》是首次提出知识蒸馏这个概念。

蒸馏过程通常包括以下几个步骤:

(1)教师训练模型:首先,训练一个性能强大的大模型,这个模型通常具有大量的参数,能在各种任务上提供优异的性能。这个大模型即为 “教师模型”。

(2)学生模型设计:学生模型通常较小,参数量比教师模型少得多。其目的是在保证模型精度的同时,减少计算资源消耗,提高推理速度。

(3)蒸馏过程:在训练学生模型时,采用教师模型的输出作为监督信号。不同于传统的监督学习,蒸馏技术利用教师模型的软标签(Soft Labels)而非硬标签。软标签通常是教师模型的输出概率分布,它携带了更多的信息,例如类别之间的相似度,这使得学生模型能够在较少的数据和参数的情况下,学到更加丰富的知识。

(4)优化与精炼:学生模型通过模拟教师模型的行为,逐渐学习到其潜在的知识结构。通过反复训练,学生模型在大部分情况下能够接近或达到教师模型的性能,同时具有更高的计算效率和更小的内存占用。

2. 主要作用

模型压缩:蒸馏技术可以将大模型压缩成较小的模型,使得其在移动设备或计算资源有限的环境中依然可以发挥较高的性能。

知识迁移:学生模型不仅继承了教师模型的知识,还能在一些情况下进行自我优化,提升性能。

推理效率:由于学生模型的规模较小,它在推理时所需的计算资源和时间都显著减少,有助于加速推理过程,尤其适用于实时应用场景。

大模型在场景落地时,会存在部署推理成本高、专业知识不足、幻觉问题严重等问题,因此在专业级市场,需要基于蒸馏、微调、RAG等手段,提升大模型在垂直领域的表现。

二、模型量化

1. 什么是模型量化

模型量化(Quantization)是指以较低的推理精度损失将连续取值(通常为float32 或者大量可能的离散值)的浮点型权重近似为有限多个离散值(通常为 int8)的过程。通过以更少的位数表示浮点数据,模型量化可以减少模型尺寸,进而减少在推理时的内存消耗,并且在一些低精度运算较快的处理器上可以增加推理速度。具体如下图所示,[-T,T] 是量化前的数据范围,,[-127,127] 是量化后的数据范围。

量化将模型参数的表示从浮点数精度降低为整数或低精度形式,以减小模型的存储和计算开销。

2. 主要作用

减小模型大小:如 int8 量化可减少 75% 的模型大小,int8 量化模型大小一般为 32 位浮点模型大小的 1/4:

  •  减少存储空间:在端侧存储空间不足时更具备意义。
  • 减少内存占用:更小的模型当然就意味着不需要更多的内存空间。
  • 减少设备功耗:内存耗用少了推理速度快了自然减少了设备功耗。

加快推理速度:访问一次 32 位浮点型可以访问四次 int8 整型,整型运算比浮点型运算更快;CPU用 int8 计算的速度更快。

某些硬件加速器如 DSP/NPU 只支持 int8:比如有些微处理器属于 8 位的,低功耗运行浮点运算速度慢,需要进行 8bit 量化。

模块量化的主要意义就是加快模型端侧的推理速度,并降低设备功耗和减少存储空间。

三、MoE 混合专家模型技术

训练大型语言模型(LLM)通常需要大量的计算资源,这对许多组织和研究人员来说是一个很高的门槛。混合专家(MoE)技术通过将大型模型分解成更小的、专门的网络来解决这一难题。

MoE(Mixture of Experts,混合专家模型)是一种通过动态选择子模型(专家)处理输入数据的深度学习架构,旨在提升模型性能与效率。其核心思想是 “术业有专攻”,即让不同专家专注于特定任务,通过门控网络动态调度专家资源,在降低计算成本的同时实现高性能输出。

1. 什么是 MoE

想象一个人工智能模型是一个专家团队,每个人都有自己独特的专业知识。混合专家(MoE)模型通过将复杂任务划分为(成为专家的)更小的专业网络来运行这一原则。每个专家专注于问题的一个特定方面,使模型能够更有效、更准确地解决任务。就像医生负责医疗问题,技师负责汽车问题,厨师负责烹饪一样,每个专家都有自己擅长的事情。通过合作,这些专家可以更有效地解决更广泛的问题。

2. 主要作用

计算高效性:MoE 通过动态分配任务,减少冗余计算。例如,DeepSeek-MoE 16B 的推理仅激活 2.8B 参数,计算量比同等性能的稠密模型降低 60%。

参数可扩展性:一是专家的多样化能力使 MoE 模型具有高度的灵活性,通过召集具有专业能力的专家,MoE模式可以承担更广泛的任务。二是将复杂的问题分解成更小、更易于管理的任务,有助于 MoE 模型处理日益复杂的输入。三是支持扩展到数百甚至上千个专家,模型容量大幅提升(如谷歌的 Switch Transformer 达 1.6万亿参数),同时保持分布式并行计算的可行性。

任务适应性:一是 MoE 的 “分而治之” 方法,其中任务分别执行,增强了模型对故障的容错弹性。如果一个专家遇到问题,并不一定会影响整个模型的功能。二是在多模态、复杂推理等场景中,MoE 通过专家分工实现精准处理,例如 GPT-4 的 MoE 架构能分别处理文本生成、逻辑推理和图像分析任务。

四、MHA 多头注意力机制技术

多头注意力机制(Multi-Head Attention)是深度学习领域中一种重要的技术,最早由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。

多头注意力(Multi-Head Attention)是一种在Transformer 模型中被广泛采用的注意力机制扩展形式,它通过并行地运行多个独立的注意力机制来获取输入序列的不同子空间的注意力分布,从而更全面地捕获序列中潜在的多种语义关联。

在多头注意力中,输入序列首先通过三个不同的线性变换层分别得到 Query、Key和 Value。然后,这些变换后的向量被划分为若干个 “头”,每个头都有自己独立的 Query、Key 和 Value 矩阵。对于每个头,都执行一次 Scaled Dot-Product Attention(缩放点积注意力)运算,即:

最后,所有头的输出会被拼接(concatenate)在一起,然后再通过一个线性层进行融合,得到最终的注意力输出向量。

通过这种方式,多头注意力能够并行地从不同的角度对输入序列进行注意力处理,提高了模型理解和捕捉复杂依赖关系的能力。在实践中,多头注意力能显著提升 Transformerm模型在自然语言处理和其他序列数据处理任务上的性能。

参考资料:

AI新智力

Distilling the Knowledge in a Neural Network:https://arxiv.org/abs/1503.02531

深入剖析Transformer架构中的多头注意力机制:https://developer.aliyun.com/article/1649746

TensorFlow 模型优化:模型量化-张益新

模型压缩-神经网络量化基础:https://zhuanlan.zhihu.com/p/505570612

大模型量化、裁剪、蒸馏技术解析 量化适用于需要快速推理和低功耗的场景,如边缘计算设备或实时系统。裁剪适用于对模型大小有严格限制的场景,如存储空间有限的设备。蒸馏特别适用于需要高性能但计算资源有限的场景,如移动设备或嵌入式系统。 阅读详情

相关推荐

一文读懂AI大模型时代的RAG技术

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合检索技术与生成模型的技术架构,旨在通过动态引入外部知识库增强大语言模型(LLM)的生成能力。其核心思想是通过检索系统从外部数据源(如企业知识库、实时文档等)获取相关信息,并将检索结果作为上下文输入生成模型,以提高生成答案的准确性、时效性和专业性

awei0916的专栏 2123

蒸馏(Distillation)和量化(Quantization)的比较以及使用场景讨论

模型蒸馏是一种通过训练一个较小的学生模型(Student Model)来模仿一个较大且性能更好的教师模型(Teacher Model)的技术。学生模型通过学习教师模型的输出(软标签)来获得知识。模型量化是一种通过减少模型参数和计算的表示精度来压缩模型的技术。常见的量化方法包括将浮点数表示转换为定点数表示(如将32位浮点数转换为8位整数)。

samoyan的博客,记录技术成长~ 3197

ros2 humble中使用realsense t265与d435

前提,安装realsense SDK 2.51.1版本并且能成功启动realsense-viewer V2.51.1想要在ros2中使用realsense t265,必须配合realsense SDK v2.51.1使用realsense-ros 4.51.1版本,因为新版本realsense ros2不再对t265支持下面记录源码编译安装 realsense-ros 4.51.1版本。

m0_72797388的博客 962

模型压缩:量化、剪枝和蒸馏

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达编者荐语近年来,BERT 系列模型成了应用最广的预训练语言模型,随着模型性能的提升,其参数规模不断增大,推理速度也急剧提升,导致原始模型必须部署在高端的GPU 显卡上,甚至部分模型需要多块显卡才能正常运行。转载自丨博文视点Broadview前言 在移动智能终端品类越发多样的时代,为了让预训练语言模型可以顺利部署在算力和存储空间...

小白学视觉 3904

LoRaWAN数据包分析工具

前言:LoRaWAN的射频数据包是加密的,而且有些字段是某个字节的某几位,看着不是那么直观,因此在某些情况下需要借助工具来分析数据包。 1、安装npm 这个工具是用JavaScript写的,其中用到了一些依赖库,而npm就可以一次性把这些依赖库下载下来,因此我们先要下载安装npm这个工具。 安装:sudo apt install npm 输入y,等待安装完成: 检查是否安装成功:npm -v 说明安装完成。 2、安装LoRa数据包分析工具lora-packet 安装:npm i.

freemote的博客 4634

Cursor设置界面汉化保姆级教程:手把手教你修改JS文件实现中文界面(附避坑指南)

本文提供Cursor编辑器设置界面汉化的详细教程,从定位JS文件到安全修改实现中文界面,包含必备工具清单、文件路径指引和常见问题解决方案。通过手把手教学帮助用户轻松完成汉化,提升使用体验,特别适合不熟悉英文界面的开发者。

weixin_29007809的博客 1417

量化与知识蒸馏的区别

如果对目前的网络模型A的时延不满意,可以先找到一个时延更低,参数量更小的模型B,通常来讲,这种模型精度也会比较低,然后通过训练一个更高精度的teacher模型C来对这个参数量小的模型B进行知识蒸馏,使得该模型B的精度接近最原始的模型A,从而达到降低时延的目的。如果对目前的网络模型A的精度不是很满意,那么可以先训练一个更高精度的teacher模型B(通常参数量更多,时延更大),然后用这个训练好的teacher模型B对student模型A进行知识蒸馏,得到一个更高精度的A模型。2.3 标签之间的域迁移。

qq_56734304的博客 1578

2026 年 3 月青少年软编等考 C/C++ 三级测试题解析

摘要 本文包含三部分内容: 单选题(10题):考察C++基础语法和数据结构知识,涉及vector、栈、队列的操作和特性。 判断题(10题):测试对动态数组、栈、队列、字符串操作的理解,包括内存管理、访问方式和函数返回值等。 编程题(1题):模拟火车站售票窗口排队场景,要求根据输入输出各窗口的排队情况,重点考查队列的实际应用和边界条件处理。 答案解析详细,涵盖常见编程考点,适合检验基础知识的掌握程度。

发布少儿编程考级的真题和优秀竞赛题解析,以及一些讲义。 254

大模型入门:搞懂蒸馏、量化、MoE、MHA

想象一个人工智能模型是一个专家团队,每个人都有自己独特的专业知识。混合专家(MoE)模型通过将复杂任务划分为(称为专家的)更小的专业网络来运行这一原则。每个专家专注于问题的一个特定方面,使模型能够更有效、更准确地解决任务。就像医生负责医疗问题,技师负责汽车问题,厨师负责烹饪一样,每个专家都有自己擅长的事情。通过合作,这些专家可以更有效地解决更广泛的问题。二、主要作用计算高效性。MoE通过动态分配任务,减少冗余计算。

weixin_59191169的博客 2387

37、基于视觉的轻量级面部呼吸和心率测量技术

本文提出了一种基于视觉的轻量级面部呼吸和心率测量技术,通过远程光电容积脉搏波描记法(RPPG)和面部振动信息实现非接触式生理信号采集。创新性地结合框选和特征点选择多个感兴趣区域(ROI),并采用光流跟踪、主成分分析(PCA)和集成经验模态分解(EEMD)等方法优化信号处理流程。实验结果表明,该方法在测量精度和稳定性方面优于传统方法,并可在树莓派4等低功耗平台上实现实时运行,具有广泛的应用前景。

r7s8t的博客 309

上位机 寻边器 通讯实战

寻边器通讯接口实现 本文介绍了上位机与盖泽(Gazer)和JEL品牌寻边器的通讯接口实现方案。主要内容包括: 接口定义:创建了IAlignerOperation接口,定义了获取状态、控制运动、真空吸附等核心功能。 具体实现: 盖泽寻边器(GazerAlignerCjh):通过串口通讯,实现了回零、校准、移动位置等操作 JEL寻边器(JelAligner):同样基于串口通讯,包含错误处理、状态查询等功能 工厂模式:通过AlignerFactory工厂类根据设备品牌创建对应的实现对象。 设备加载:展示了如何在系

StevenChen的博客 382

一文读懂 AI 大模型落地的四大支柱:蒸馏、量化、MoE 与 MHA 技术解析

一文读懂 AI 大模型落地的四大支柱:蒸馏、量化、MoE 与 MHA 技术解析

weixin_72959097的博客 960

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

一文揭秘 AI 大模型落地的四大核心技术:蒸馏、量化、MoE 与 MHA

在当今数字化时代,AI 大模型的应用范围不断拓展,从智能客服到医疗诊断,从图像识别到智能驾驶,大模型正以前所未有的速度改变着我们的生活和工作方式。然而,随着应用场景的日益复杂和多样化,AI 大模型在落地过程中面临着诸多挑战,如模型部署成本高、推理速度慢、资源消耗大等问题。为了克服这些难题,研究人员和工程师们不断探索和创新,提出了一系列先进的技术解决方案。本文将聚焦于蒸馏、量化、MoE(混合专家模型)、MHA(多头注意力机制)这四大核心技术,深入剖析它们的原理、优势以及在实际应用中的成功案例,带你领略 AI

大模型教程的博客 1117

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

一文彻底搞清什么是:蒸馏、量化、MoE、MHA

当大模型遭遇算力瓶颈,工程师们化身“AI瘦身教练”,用蒸馏、量化、MoE、MHA四大技术让模型“强身健体”。知识蒸馏让大模型“传道授业”给轻量学生,量化技术用“低精度计算”压缩模型体积,MoE架构让专家团队分工协作,多头注意力机制则像“分身术”捕捉复杂语义。本文通过数据对比、场景案例,揭秘这些技术如何在效率与性能间找到黄金平衡点。

打造全国最全的AI Agent开发知识领域的博客 819

AI大模型落地实战:揭秘蒸馏、量化、MoE、MHA四大核心技术

如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!

2401_85375186的博客 951

从零理解大模型:蒸馏、量化、MoE、MHA技术入门

知识蒸馏(Knowledge Distillation)作为模型压缩领域的重要技术,最早由Google研究团队在2014年NIPS会议上发表的《Distilling the Knowledge in a Neural Network》论文中系统提出。该技术的核心创新在于构建"教师-学生"学习框架,通过让轻量级的学生模型学习教师模型输出的类别概率分布(软标签),而非传统的硬性分类标签,从而捕获更为丰富的类间相似性等隐性知识。这种知识迁移机制不仅实现了模型体积的大幅压缩,更重要的是保留了原始复杂模型中的决策逻辑

m0_59162559的博客 994

小白也能懂!一文吃透 AI 大模型落地四大支柱:蒸馏、量化、MoE 与 MHA 深度解析

小白也能懂!一文吃透 AI 大模型落地四大支柱:蒸馏、量化、MoE 与 MHA 深度解析

CSDN_430422的博客 1308

AI新智力 | AI | 大模型入门(八):​蒸馏、量化、MoE、MHA

本文介绍了四种大模型优化技术:1. 知识蒸馏通过让学生模型模仿教师模型的输出分布实现模型压缩;2. 模型量化通过降低参数精度减少存储和计算开销;3. MoE架构通过动态选择专家子模型提升计算效率;4. MHA机制通过并行多注意力头捕获复杂依赖关系。这些技术能有效解决大模型在部署时面临的计算资源消耗大、推理速度慢等问题,适用于移动端和实时应用场景。文章详细阐述了每种技术的原理和主要作用,为AI模型优化提供了实用解决方案。

csdn_xmj的博客 1540

一文吃透 AI 大模型落地四大支柱:蒸馏、量化、MoE 与 MHA 技术深度解析

一文吃透 AI 大模型落地四大支柱:蒸馏、量化、MoE 与 MHA 技术深度解析

EnjoyEDU的博客 1173

AI大模型入门指南(八):​蒸馏、量化、MoE、MHA

一是专家的多样化能力使MoE模型具有高度的灵活性,通过召集具有专业能力的专家,MoE模式可以承担更广泛的任务。软标签通常是教师模型的输出概率分布,它携带了更多的信息,例如类别之间的相似度,这使得学生模型能够在较少的数据和参数的情况下,学到更加丰富的知识。多头注意力(Multi-Head Attention)是一种在Transformer模型中被广泛采用的注意力机制扩展形式,它通过并行地运行多个独立的注意力机制来获取输入序列的不同子空间的注意力分布,从而更全面地捕获序列中潜在的多种语义关联。

MachineGunJoe666 819

小白程序员必看!大模型四大核心技术:蒸馏、量化、MoE、MHA,一次讲透!

本文详解大模型四大核心技术:知识蒸馏通过学生模型模仿教师模型实现知识迁移与压缩;模型量化将浮点参数转为低精度离散值,减小模型尺寸并提升推理速度;MoE混合专家模型动态选择专业子模型提高计算效率;多头注意力机制并行处理序列信息,增强模型捕捉复杂依赖关系的能力。这些技术共同优化大模型的性能、效率和实用性。

m0_56255097的博客 754

AI | 大模型入门(八):​蒸馏、量化、MoE、MHA

蒸馏、量化、MoE架构、MHA。

kukule520129的博客 198
上一篇: 特征提取:传统算法 VS 深度学习 !!
下一篇: 图像退化对目标检测的影响 !!
JOYCE_Leo16
博客等级 码龄5年 2万+粉丝 229原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JOYCE_Leo16

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址