【Bug已解决】[Bug] Catastrophic gradient explosion (NaN) in RLHF with Qwen3.5 due to 3D position_ids forcing SDPA Math fallback and BF16 collapse 解决方案
一、现象长什么样
在 Qwen3.5 上做 RLHF(PPO / GRPO)训练时,第一步或前几步就出现灾难性梯度爆炸,loss 直接变 NaN:
# 训练日志
step 0: policy_loss = 1.234, approx_kl = 0.002
step 1: policy_loss = 38.91, approx_kl = 2.17 <- 突然暴涨
step 2: policy_loss = nan, grad_norm = nan
RuntimeError: Function 'SdpBackward' returned nan.
# 更具辨识度的线索:attention 走的是 math 后端
# 日志里出现(或被 env 变量 TOKENIZERS_PARALLELISM 之外我们关注的是):
UserWarning: enable_pytorch_kernel for scaled_dot_product_attention is not available,
falling back to math backend. # 即 SDPA 没用上 flash/efficient,退化成 math
最诡异的是:同一份数据做 SFT(监督微调)完全正常,一上
订阅专栏 解锁全文
290



被折叠的 条评论
为什么被折叠?



