一句话本质:反向传播的链式法则把梯度写成一堆雅可比矩阵的连乘;只要这些矩阵的"平均放大倍数"(谱半径)大于 1,连乘 T 层就是指数增长,直到数值溢出。
1. 数学本质
1.1 链式法则与连乘
设网络第 k 层的激活为 h_k,损失为 L。反向传播到第 1 层时:
∂L/∂h₁ = (∂L/∂h_T) · ∏(k=1..T-1) ∂h_{k+1}/∂h_k
其中每个 ∂h_{k+1}/∂h_k 是一个 雅可比矩阵 J_k。梯度是这些矩阵的连乘,而不是简单的标量相乘。
1.2 为什么"放大因子"由特征值决定
若各层雅可比近似相同 J_k ≈ J,则乘积 ≈ J^(T-1)。对 J 做特征值分解 J = PΛP⁻¹,有
J^(T-1) = P · Λ^(T-1) · P⁻¹
梯度的增长速率由 Λ 中模最大的特征值(谱半径 ρ)决定:
| 谱半径 ρ | 梯度行为 | 后果 |
|---|---|---|
| ρ > 1 | 指数增长 ~ρ^T |
梯度爆炸 |
| ρ = 1 | 保持稳定 | 理想(残差连接的目的) |
| ρ < 1 | 指数衰减 ~ρ^T |
梯度消失 |
1.3 数值例子:从 1.0 到 3325,只需要 20 层
每层乘数 |λ|=1.5,20 层后梯度范数 1.5^20 ≈ 3325;|λ|=0.7 则衰减到 0.7^20 ≈ 0.0008。起点相同,20 层后相差约 400 万倍。
这就是它为什么"突然"炸掉——指数增长在前期看不出异常,一旦量级跨过浮点范围就瞬间崩塌。
1.4 图示:梯度沿反向传播链逐层放大
前向: 输入 ──→ H₁ ──→ H₂ ──→ H₃ ──→ 输出/Loss
(数据逐层变换)
反向: 输入 ←── H₁ ←── H₂ ←── H₃ ←── Loss=1.0
39.1 15.6 6.3 2.5 1.0
↑______ ↑______ ↑______ ↑______
×2.5 ×2.5 ×2.5 ×2.5
梯度范数逐层放大(|λ|≈2.5 的示例)
2. 三种放大因子的对比(对数坐标)
下表是 ‖∇‖ = |λ|^n(n = 层数/时间步)的数值:
| 层数 n | 爆炸 |λ|=1.5 | 健康 |λ|=1.0 | 消失 |λ|=0.7 |
|---|---|---|---|
| 1 | 1.5 | 1.0 | 0.7 |
| 5 | 7.6 | 1.0 | 0.17 |
| 10 | 57.7 | 1.0 | 0.028 |
| 15 | 437.9 | 1.0 | 0.0047 |
| 20 | 3325.3 | 1.0 | 0.0008 |
纵轴取对数时,三条曲线是直线,斜率 = log₁₀|λ|。符号决定爆炸还是消失,绝对值决定速度。
3. 根因分析:什么情况下 ρ > 1
3.1 RNN 最典型:W^T 反复相乘
循环网络在时间步上共享同一个权重矩阵 W,隐藏状态 h_t = f(W h_{t-1} + U x_t),反向传播会出现 W 的高次幂 W^T。若 W 的谱半径 > 1,长序列必然爆炸;< 1 则消失。这
393



被折叠的 条评论
为什么被折叠?



