本文是我 LLM 系列的第三篇,重点讲解:为什么语言模型推理会分成两个阶段:Prefill 和 Decode?
我们不仅会回答这个“为什么”,还会带你走进 prefill 阶段的内部机制,搞懂 attention 的计算细节、KV Cache 是如何初始化的、为什么 prefill 计算量这么大。

一句话解释:Prefill 和 Decode 的分工
大语言模型生成文本的过程本质上是给定上下文,逐词预测下一个词。
但在实现上,这个过程被明确地分成两个阶段:
| 阶段 | 目的 |
|---|---|
| Prefill | 模型读取并“理解”你输入的所有上下文 |
| Decode | 模型基于已有信息一步步生成回复 |
为什么不能用一个阶段做完?
因为输入和输出的计算特性完全不同:
-
输入 prompt 是完整的、一次性提供的,适合并行计算。
-
输出 token 是未知的,只能一个一个推理,必须串行。
这种“数据形态差异”导致我们不得不把它们拆成两个阶段,并用不同方式处理。
Prefill:模型如何“理解”你输入的 prompt?
什么是 prefill?
Prefill 阶段是语言模型推理中的第一个步骤,它负责处理你输入的所有上下文内容(prompt),为后续生成打下基础。
比如你问模型一句话:
“请解释一下 Transformer 的原理。”
这句话会被 tokenizer 编码为一串 token,比如 ["请", "解释", "一下", "Trans", "##former", "的", "原理", "。"]。
然后这些 token 会进入 Transformer 模型进行前向传播。重点来了 👇
Prefill 中模型内部到底发生了什么?
Step 1:Embedding 输入
-
每个 token 会映射成一个向量(embedding),形状为
[batch_siz
4917



被折叠的 条评论
为什么被折叠?



