文章目录
01 本篇要解决什么问题
多头注意力不是简单把单头函数调用几次。投影、拆头、合头、输出层和掩码广播必须共同对齐。本篇组合上一章的注意力核心,并把参数复制给PyTorch MHA,核对输出与输入梯度,再检查未来和padding是否泄漏。
02 核心原理、公式与条件
(1)多头沿表示维拆分
设模型宽度D、头数H、每头宽d=D/H。本例要求整除,QKV线性投影先得到[B,T,D],reshape为[B,T,H,d]再transpose为[B,H,T,d],各头在自己的子空间里计算。
不是把序列分成H段:每个头仍可读取所有合法key,只是表示维度不同。改变头数时每头宽也可能变化,不能把更多头数直接等同于参数成倍增加或表达能力必然增强。
(2)合头恢复token顺序
各头输出[B,H,T,d],转回[B,T,H,d]并按需要连续化,再合并为[B,T,D],最后通过输出投影。输出层会混合来自不同头的信息,不能省略后还声称与同参数MHA完全一致。
本实现四组线性层都有bias;复制到nn.MultiheadAttention时,将Q/K/V权重和bias沿库规定的打包轴拼接,并复制输出层。权重转置、顺序或bias任意一项不齐,都会破坏比较意义。
(3)因果mask限制未来
对自回归序列,query位置i只能访问j≤i。手写内部统一allowed为True表示可访问,构造下三角矩阵;不能按看起来像三角就断定方向正确,应该逐项检查某条query能读哪些key。
nn.MultiheadAttention的布尔attn_mask中True代表禁止,所以参考接口传上三角blocked;函数式SDPA的布尔mask语义则不同。调用前读当前接口,比把所有mask取反一次再碰运气可靠。MHA文档
(4)key padding按样本单独屏蔽
valid形状为[B,T],广播成[B,1,1,T],作用于key轴;再和因果允许矩阵组合得到可广播的掩码。这样每个样本可有不同长度,而不同head共享可见范围。
只按序列长度建一个所有样本共享的mask无法正确表达不同padding。只在loss里ignore标签,也不会阻止有效query读取pad key;注意力和损失要分别验证。
(5)补齐query需要自己的输出政策
禁止读取pad key,不代表pad query输出自动为0;它仍可能从有效key读到非零向量,输出投影bias也可能产生值。本例明确在输出投影之后将pad query置零,参考MHA结果也按同一政策处理后再比较。
这不是MHA的默认保证。若还要让整块pad状态保持0,残差和前馈也可能重新引入值,须在模块层继续管理;即便如此,最终分类头的bias等又可能改变logits,最终目标屏蔽仍不可省。
(6)把可支持输入写成契约
本模块只接受布尔valid、右侧padding、首token有效的自注意力,不实现左padding、内部空洞、KV Cache或GQA。检查非法模式并拒绝,有助于避免“任何掩码都能用”的错误承诺。
首token有效保证因果行有合法key,因此不会触发上一章的全禁止行边界。若要支持其他模式,应先决定全禁止行和position_id怎样定义,再扩展实现,而不是删掉检查后假设结果仍可靠。
(7)验证不仅看一张热力图
实验复制同一套参数,关闭dropout,使用double比较输出、每头权重与输入梯度。随后只改变padding输入,验证有效前缀不变;再改变未来位置,验证因果前缀不变。
由于本例pad query被置零且不能作为key,其输入梯度也应为0;这一结论依赖本次目标和完整路径,不是所有含Embedding或共享输出头的模型都自动具备。每头权重热力图用来观察,不替代这些断言。
(8)多头实现的成本边界
固定D时,稠密注意力总体乘法规模仍涉及T²D,投影涉及TD²。头数改变了分块、权重矩阵形状和调度细节,未必单调改变实际性能。手写显式权重便于理解,但通常不代表最省内存或最快实现。
本篇没有测融合核,也未启用混合精度。完成正确性后,才能考虑直接用SDPA、缓存与服务调度;优化必须保持mask、输出和梯度目标一致。

03 手写实现、实验与真实结果
核心组件
以下与examples/transformer_core.py中的实现一致;完整模块也收录在公共代码附录。正文入口从该模块导入,按目录保留文件即可运行。
import math
import torch
from torch import nn
def attention(q,k,v,allowed=None):
scores=q@k.transpose(-1,-2)/math.sqrt(q.shape[-1])
if allowed is not None:
allowed=torch.broadcast_to(allowed,scores.shape)
if not allowed.any(dim=-1).all(): raise ValueError('all-masked query row is outside this implementation contract')
scores=scores.masked_fill(~allowed,float('-inf'))
weights=torch.softmax(scores,dim=-1)
return weights@v,weights
class ManualMHA(nn.Module):
def __init__(self,d_model,heads):
super().__init__()
if heads<1 or d_model%heads: raise ValueError('heads must divide model width')
self.heads,self.d_model=heads,d_model
self.q=nn.Linear(d_model,d_model); self.k=nn.Linear(d_model,d_model)
self.v=nn.Linear(d_model,d_model); self.o=nn.Linear(d_model,d_model)
def forward(self,x,valid=None,causal=True):
B,T,D=x.shape; H=self.heads; d=D//H
if valid is None: valid=torch.ones(B,T,dtype=torch.bool,device=x.device)
if valid.shape!=(B,T) or valid.dtype!=torch.bool or not valid[:,0].all(): raise ValueError('require boolean right-padding with first token valid')
if ((~valid[:,:-1]) & valid[:,1:]).any(): raise ValueError('left/interior padding unsupported')
split=lambda layer:layer(x).reshape(B,T,H,d).transpose(1,2)
allowed=valid[:,None,None,:].expand(B,1,T,T)
if causal: allowed=allowed & torch.ones(T,T,dtype=torch.bool,device=x.device).tril()[None,None]
out,weights=attention(split(self.q),split(self.k),split(self.v),allowed)
out=self.o(out.transpose(1,2).contiguous().view(B,T,D))
return out*valid[...,None],weights
完整实验入口
在解压根目录运行python examples/lesson_16.py,保留tf_common.py与transformer_core.py。先按README安装CPU依赖,之后无需联网或下载权重;不使用会关闭断言的python -O。
import torch
from torch import nn
from transformer_core import ManualMHA
from tf_common import output_dir,finish,table,figure,plt
def main():
out=output_dir(16); torch.manual_seed(1616); torch.set_num_threads(1)
model=ManualMHA(8,2).double(); reference=nn.MultiheadAttention(8,2,dropout=0,batch_first=True).double()
with torch.no_grad():
reference.in_proj_weight.copy_(torch.cat([model.q.weight,model.k.weight,model.v.weight]))
reference.in_proj_bias.copy_(torch.cat([model.q.bias,model.k.bias,model.v.bias]))
reference.out_proj.load_state_dict(model.o.state_dict())
x=torch.randn(2,5,8,dtype=torch.double,requires_grad=True); valid=torch.tensor([[1,1,1,0,0],[1,1,1,1,1]],dtype=torch.bool)
output,weights=model(x,valid)
blocked=torch.ones(5,5,dtype=torch.bool).triu(1)
ref,ref_weights=reference(x,x,x,attn_mask=blocked,key_padding_mask=~valid,average_attn_weights=False)
ref=ref*valid[...,None]
assert torch.allclose(output,ref,atol=1e-10) and torch.allclose(weights,ref_weights,atol=1e-10)
g1=torch.autograd.grad(output.square().sum(),x,retain_graph=True)[0]
g2=torch.autograd.grad(ref.square().sum(),x)[0]; assert torch.allclose(g1,g2,atol=1e-10)
assert torch.equal(g1[~valid],torch.zeros_like(g1[~valid]))
changed=x.detach().clone(); changed[0,3:]+=100
assert torch.allclose(model(changed,valid)[0][0,:3],output[0,:3])
future=x.detach().clone(); future[:,3:]+=20
assert torch.allclose(model(future,valid)[0][:,:3],output[:,:3],atol=1e-10)
assert torch.equal(output[~valid],torch.zeros_like(output[~valid]))
rejected=False
try: ManualMHA(7,2)
except ValueError: rejected=True
assert rejected
table(out/'head_weights.csv',['head','query','key','weight'],[(h,i,j,weights[1,h,i,j].item()) for h in range(2) for i in range(5) for j in range(5)])
fig,axes=plt.subplots(1,2,figsize=(9,4),constrained_layout=True)
for h,ax in enumerate(axes): ax.imshow(weights[1,h].detach(),vmin=0,vmax=1,cmap='Blues'); ax.set(title=f'Causal head {h}',xlabel='key',ylabel='query')
figure(fig,out)
finish(out,{'shape':list(output.shape),'MHA_output_error':(output-ref).abs().max().item(),'MHA_input_gradient_error':(g1-g2).abs().max().item(),
'future_and_padding_perturbations_checked':True,'padded_query_output_and_gradient_zero':True,
'scope':'right padding, first token valid, self attention, no dropout/cache/GQA; query zeroing is our explicit policy, not MHA default'})
if __name__=='__main__': main()
复制相同参数到MHA,按相同pad query政策比较输出、权重和输入梯度;扰动未来和pad不改变合法前缀。只支持右padding、有效首token与布尔valid,不含缓存/GQA。
本次实际运行
{
"shape": [
2,
5,
8
],
"MHA_output_error": 0.0,
"MHA_input_gradient_error": 2.220446049250313e-16,
"future_and_padding_perturbations_checked": true,
"padded_query_output_and_gradient_zero": true,
"scope": "right padding, first token valid, self attention, no dropout/cache/GQA; query zeroing is our explicit policy, not MHA default"
}

图由实际CSV和程序生成,未平滑或补造;SVG、JSON与明细保留在实验结果目录。前向、梯度、结构与最终任务表现是不同结论,误差小不代表任意设备逐位相同。
04 工程场景与排错思路
变长批量训练出现异常时,把一个短样本放进不同同伴批次,单独扰动pad内容并观察有效输出。若只检查训练loss,就可能遗漏补齐泄漏;若参考库输出不同,先对齐bias、mask语义和query零化政策,再怀疑数值实现。
05 面试问答与追问
问题1:多头是把序列切成几段吗?
不是,通常拆的是表示子空间,各头仍对合法序列位置计算。序列分块是另一类设计。
问题2:固定D增加头数就增加参数吗?
本例QKV和输出投影总形状不随头数成倍增加,每头宽会相应减小;其他结构可能不同,需对照实际参数。
问题3:causal和padding mask能互相替代吗?
不能,一个限制未来,一个表示各样本补齐key。通常需要按广播规则组合。
问题4:屏蔽pad key后pad输出一定为0吗?
不一定,pad query仍会汇总有效value。本例在输出投影后显式置零,这是我们的政策。
问题5:为什么和MHA比之前还要处理参考输出?
库默认不提供本例相同的pad query零化保证,必须对齐计算契约后比较,不能把不同目标的差异叫实现错误。
问题6:输入梯度相等能替代参数梯度检查吗?
不能完全替代。它提供一类反向证据,仍需按修改范围检查参数路径、数值导数和更多边界;本例没有声称穷尽所有导数测试。
06 本篇回顾与练习
复习时先明确轴、目标、精度和接口语义,再推导运算并预测小例子的输出。实现通过后仍需独立验收数据、评价与部署条件;不能把合成记忆或数值一致性当成真实语言能力。
| 练习 | 思路与验收重点 |
|---|---|
| 画出两种长度的allowed矩阵 | 逐query说明因果与padding怎样共同生效。 |
| 复制一套MHA参数 | 核对投影打包顺序、bias和输出层。 |
| 加入一个非法mask测试 | 检查全pad或内部空洞被明确拒绝。 |
延伸阅读:MultiheadAttention接口。练习提示不等于额外完整题解,接口与默认值按实际版本核对。
下一篇:17|位置编码:从绝对位置到RoPE。
本文深入剖析多头注意力的手写实现,涵盖沿表示维拆分与合头机制、因果掩码与padding掩码的协同设计、query补齐策略、输入契约定义及验证方法。强调与PyTorch MHA参数对齐、输出/梯度一致性验证,并指出常见工程误区与面试高频问题。内容聚焦算法正确性、掩码语义对齐和工程可验证性,不涉及性能优化或混合精度。
513

被折叠的 条评论
为什么被折叠?



