【大模型】MHA,MQA,GQA及KV Cache详解

理解 MHA、GQA、MQA 和 MLA:多头注意力的变种及其应用 在深度学习、自然语言处理(NLP)和计算机视觉(CV)中,多头注意力(Multi-Head Attention, MHA)是 Transformer 结构的核心。近年来,MHA 产生了多个变体,如和,这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景,帮助理解Transformer 及其改进版本。 阅读详情
AI摘要

本文围绕自回归模型中的KV Cache展开。先介绍了Multi - Head Attention,接着阐述KV Cache产生原因是减少重复计算、提高推理效率,还说明了因果掩码及推理流程。最后介绍缓解KV Cache的技术,如Multi - Query Attention、Grouped - Query Attention和Multi - head Latent Attention,以减少缓存占用。

为什么需要KV Cache?

在自回归模型中(Autoregressive Models),模型会逐个生成文本的每个token,这个过程可能比较慢,因为模型一次只能生成一个token,而且每次新的预测都依赖于之前的上下文。这意味着,要预测第1000个token,你需要用到前999个token的信息,这通常涉及到对这些token的表示进行一系列矩阵乘法运算。而要预测第1001个token,你不仅需要前999个token的信息,还要加上第1000个token的信息。

KV Cache是在推理阶段 减少重复计算,优化推理效率的方法。在计算Attention的时候,KV Cache把所有的K和V缓存下来,然后生成next token时就可以复用这些KV。

一、Multi-Head Attention (MHA)

在进入KV Cache的正题前,我们需要对Multi-Head Attention (MHA)即标准的多头注意力机制有所了解。这里,我们首先回顾最标准的 Transformer 中的 Self-Attention 的计算及MHA部分的介绍:Transformer 模型详解

二、KV Cache

2.1 产生原因

参考博客: 用数学推导的方式理解KV Cache

对于Self-Attention 的计算有了一定了解后,下面我们一步一步用公式推导来说明KV Cache到底是如何产生的。

这里Q和K转置的矩阵乘实际上是在做向量点乘,把QKV都写成分块形式会比较清晰:

Q和K转置的矩阵乘可以写成如下形式:

注意这里小写的 k k k 和 q q q 都是长度为 d k d_k dk​ 的向量. 这里不需要赋予 Q Q Q 和 K K K 任何含义,把它们当成 T T T 个长度为 d k d_k dk​ 的向量即可。可以看出, Q K T QK^T QKT与 q i . k j q_i.k_j qi​.kj​ 的点乘运算等价。

在序列的第t个位置,attention运算结果为:

可以看到,

大模型推理优化:MHA、MQA、GQA与KV Cache全面解析 多头注意力机制(MHA)、多查询注意力(MQA)与分组查询注意力(GQA)是Transformer架构演进中的关键设计,直接影响大模型推理的显存占用与生成速度。KV Cache作为解码阶段的核心优化手段,通过缓存历史键值向量避免重复计算,但随序列长度和并发数增长会消耗大量显存。理解MHA、MQA、GQA的差异以及KV Cache的分配机制,是从原理上把握大模型推理性能瓶颈的关键。在实际部署中,GQA通过分组共享KV在质量与资源消耗间取得平衡,已成为主流开源模型的事实标准。合理配置KV Cache并选择恰当的 阅读详情

相关推荐

从ChatGPT到Sora:拆解Transformer架构演进,看MHA、MQA、GQA和KV Cache如何决定大模型推理速度

本文深入探讨了Transformer架构从ChatGPT到Sora的演进历程,重点分析了MHA、MQA、GQA等注意力机制优化技术及KV Cache如何显著提升大模型推理速度。通过对比不同架构的显存占用和计算效率,揭示了GQA在性能与资源消耗间的平衡优势,为构建高效AI推理系统提供实践指导。

weixin_33701251的博客 304

MHA、MQA、GQA详解:大模型注意力机制与KV Cache优化

在Transformer大模型中,注意力机制决定模型捕获长距离依赖的能力,而KV cache则成为推理阶段显存与速度的关键瓶颈。MHA多头注意力为每个头保留独立KV,表达丰富但缓存开销大;MQA共享KV头大幅降低显存占用,却可能带来质量损失;GQA通过分组共享在两者间取得平衡。理解这些结构差异,有助于在长上下文推理、高并发部署等场景下合理选择模型架构,实现显存、速度与效果的优化。

weixin_29056101的博客 309

大模型注意力机制详解:MHA、MQA、GQA、MLA原理与KV Cache优化

注意力机制是深度学习中理解大模型内部结构的关键基石,其核心公式通过查询、键与值的加权映射实现信息检索。然而,基于多头注意力的标准实现会在推理阶段产生巨大的KV cache,导致显存占用高企、生成速度受限。为应对这一瓶颈,业界相继提出多查询注意力、分组查询注意力以及低秩压缩注意力等优化方案,分别从共享KV头、分组平衡和低秩投影等角度降低缓存开销。理解这些机制的演进逻辑,有助于在长文本生成、大模型推理优化等场景中做更合理的架构选型。本文系统梳理四种注意力变体的原理差异与工程收益,并给出面试与实战中的关键细节,帮

weixin_29048309的博客 236

MHA、MQA、GQA、MLA:大模型注意力结构与KV Cache选型指南

在大模型推理中,KV Cache 是显存占用和吞吐瓶颈的关键来源;自回归解码需要缓存历史 Key/Value,注意力结构则决定缓存规模与表达能力。MHA、MQA、GQA、MLA 围绕共享粒度与低秩压缩展开权衡:前者保留多头表达力,MQA/GQA 通过共享 K、V 降低缓存,MLA 以潜向量压缩进一步突破长上下文限制。合理选择注意力结构可显著降低显存开销、提升解码吞吐,并支撑高并发在线服务、长文档问答和长上下文生成等场景。围绕 KV Cache 计算、质量损失、训练稳定性、框架支持与落地选型,梳理 MHA、M

weixin_29054399的博客 104

MLA, MQA 和 GQA 区别和联系

GQA 是对Multi-Head Attention (MHA) 和 MQA的扩展,通过将查询头分为多个组来共享键(K)和值(V)投影,从而提高计算效率并降低内存开销。每个组中的查询共享同一组 K 和 V,这样可以减少模型的参数数量和内存需求。

具身机器人和通用AI 1581

【LLM】(KV cache优化)MHA、MQA、GQA、MLA、YOCO机制的区别

MHA机制(Multi-head Attention) MHA(Multi-head Attention)是标准的多头注意力机制,包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享 MQA机制(Multi-Query Attention) MQA(Multi-Query Attention,Fast Transformer Decoding: One Write-Head is All You Need)是多查询注意力的一种变体,也是用于自回归解码的一

发现问题,并解决问题,批判性思维 4669

Windows10系统添加虚拟网卡(Microsoft Loopback Adapter)的方法

1、按下win + R键,在其中输入:hdwwiz,然后 (enter) 2、点击下一步即可 3、其次选择【网络适配器】,然后点击【下一步】。 4、在厂商处选择Microsoft,网络适配器处选择【Microsoft Loopback Adapter】选项 ,点击【下一步】。 5、通过上面几个步骤的设置后,一块虚拟网卡的安装设置就算是完成了。 ...

一个懒鬼的博客 2万+

VNC Viewer建立多个图形界面,来远程访问同一个服务器(Ubuntu)

如题。目前已经有了一个VNC viewer连接,那么如果再开一个图形界面呢? 思路主要是:新建一个用户,从这个用户新建一个vnc连接,然后访问图形界面。

the Blog of 等不到天亮丶等时光 5909

别光看手册!手把手教你用SGM2036 LDO设计一个稳定3.3V转1.8V的MCU供电电路(附PCB布局避坑指南)

本文详细介绍了如何使用SGM2036 LDO设计一个稳定的3.3V转1.8V的MCU供电电路,包括需求分析、芯片选型、外围器件计算、PCB布局避坑指南及实测验证。通过实际案例和计算示例,帮助工程师快速掌握LDO应用技巧,确保系统电源稳定可靠。

weixin_42548893的博客 511

DFT实训教程笔记2(bibili版本)- Scan synthesis practice

文章目录Scan synthesis practice 本博文是博主记录DFT实训教程的笔记版本,此笔记并没有对所有的知识进行记录,仅仅以自身的认知水平,来记录了一些部分笔记并加上了自己的理解。 Scan synthesis practice How to design scan clock structure? 假设一块chip里面有好几十个clock domain,如果每一个clock domain都用一个scan clock虽然会非常清晰,但是IO数目肯定不够用。 clock group: 1、no

ciscomonkey的博客 9089

DESeq2实战:利用LRT检验解析时间序列基因表达动态变化

本文详细介绍了如何使用DESeq2中的LRT检验分析时间序列基因表达数据,揭示基因表达动态变化模式。通过构建完整模型与简化模型比较,LRT检验能有效识别处理效应随时间变化的基因,适用于发育过程、疾病进展等研究。文章提供了从数据准备、模型构建到结果可视化的完整实战指南,并分享了高级技巧与常见问题排查方法。

weixin_29062671的博客 466

药物对接仿真软件:HADDOCK_(5).HADDOCK中蛋白质-配体对接流程

半柔性能量最小化阶段是在刚体能量最小化的基础上,允许配体的部分柔性,通过优化配体的构象来进一步提高对接的准确性。半柔性能量最小化阶段是在刚体能量最小化的基础上,允许配体的部分柔性,通过优化配体的构象来进一步提高对接的准确性。如果是PDB格式,确保文件包含所有必要的原子信息。对接完成后,HADDOCK会生成一系列的输出文件,包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。对接完成后,HADDOCK会生成一系列的输出文件,包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。

kkchenjj的博客 1087

深度学习驱动的虚拟试衣间:从CP-VTON到HR-VITON的完整实现指南

虚拟试衣(Virtual Try-On,VTON)是一项利用计算机视觉和深度学习技术,将目标服装自然地“穿”到人物图像上的智能技术。这项技术正在彻底改变在线购物体验,让消费者无需实际试穿就能预览服装的上身效果。VITON-HD是目前最常用的高分辨率虚拟试衣数据集。图像分辨率:1024×768训练集:11,647对(人物+服装)测试集:2,032对每对包含:人物全身照(front)服装平铺图(cloth)人体解析图(segmentation)姿态关键点(pose)

YOLO 398

百度AI架构师亲授:Agentic智能体在教育领域的落地(附个性化学习案例)

当我们谈论“教育智能化”时,我们真正需要的不是“更聪明的工具”,而是“能懂人的伙伴”——一个能像优秀教师那样主动观察、精准判断、动态调整的“数字助手”。Agentic智能体(智能体)正是这样的存在:它具备“自主性”(主动决策)、“反应性”(感知环境)、“目标导向”(聚焦学习目标)和“社会性”(与人/其他智能体协作),完美匹配教育场景中“个性化、动态化、协同化”的核心需求。本文将从底层逻辑到工程实现为什么Agentic是教育AI的“下一站”?(痛点与价值)Agentic智能体的核心架构是什么?

AI天才研究院 360

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: 【大模型】基于llama.cpp实现大模型格式转换、量化、推理
下一篇: 【大模型】DeepSeek核心技术之MLA (Multi-head Latent Attention)
酒酿小圆子~
博客等级 码龄13年 6487粉丝 353原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址