文章目录
为什么需要KV Cache?
在自回归模型中(Autoregressive Models),模型会逐个生成文本的每个token,这个过程可能比较慢,因为模型一次只能生成一个token,而且每次新的预测都依赖于之前的上下文。这意味着,要预测第1000个token,你需要用到前999个token的信息,这通常涉及到对这些token的表示进行一系列矩阵乘法运算。而要预测第1001个token,你不仅需要前999个token的信息,还要加上第1000个token的信息。
KV Cache是在推理阶段 减少重复计算,优化推理效率的方法。在计算Attention的时候,KV Cache把所有的K和V缓存下来,然后生成next token时就可以复用这些KV。
一、Multi-Head Attention (MHA)
在进入KV Cache的正题前,我们需要对Multi-Head Attention (MHA)即标准的多头注意力机制有所了解。这里,我们首先回顾最标准的 Transformer 中的 Self-Attention 的计算及MHA部分的介绍:Transformer 模型详解
二、KV Cache
2.1 产生原因
参考博客: 用数学推导的方式理解KV Cache
对于Self-Attention 的计算有了一定了解后,下面我们一步一步用公式推导来说明KV Cache到底是如何产生的。
这里Q和K转置的矩阵乘实际上是在做向量点乘,把QKV都写成分块形式会比较清晰:
Q和K转置的矩阵乘可以写成如下形式:
注意这里小写的 k k k 和 q q q 都是长度为 d k d_k dk 的向量. 这里不需要赋予 Q Q Q 和 K K K 任何含义,把它们当成 T T T 个长度为 d k d_k dk 的向量即可。可以看出, Q K T QK^T QKT与 q i . k j q_i.k_j qi.kj 的点乘运算等价。
在序列的第t个位置,attention运算结果为:
可以看到,
304



被折叠的 条评论
为什么被折叠?



