梯度爆炸(Gradient Explosion)详解

梯度消亡(Gradient Vanishing)和梯度爆炸(Gradient Exploding) 梯度消亡一、定义二、梯度消亡(Gradient Vanishing)前提三、产生的原因四、解决方案 一、定义 神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化,或者 变化⾮常缓慢。随着⽹络层数增加,这个现象越发明显 二、梯度消亡(Gradient Vanishing)前提 使⽤基于梯度的训练⽅法(例如梯度下降法) 使⽤的激活函数具有输出值范围⼤⼤⼩于输⼊值的范围,例如 logistic(逻辑斯函数), tanh(双曲正切) 三、产生的原因 梯度下降法依靠理解系数的微⼩变化对输出的影响来学习⽹络的系数 阅读详情

一句话本质:反向传播的链式法则把梯度写成一堆雅可比矩阵的连乘;只要这些矩阵的"平均放大倍数"(谱半径)大于 1,连乘 T 层就是指数增长,直到数值溢出。


1. 数学本质

1.1 链式法则与连乘

设网络第 k 层的激活为 h_k,损失为 L。反向传播到第 1 层时:

∂L/∂h₁ = (∂L/∂h_T) · ∏(k=1..T-1) ∂h_{k+1}/∂h_k

其中每个 ∂h_{k+1}/∂h_k 是一个 雅可比矩阵 J_k。梯度是这些矩阵的连乘,而不是简单的标量相乘。

1.2 为什么"放大因子"由特征值决定

若各层雅可比近似相同 J_k ≈ J,则乘积 ≈ J^(T-1)。对 J 做特征值分解 J = PΛP⁻¹,有

J^(T-1) = P · Λ^(T-1) · P⁻¹

梯度的增长速率由 Λ 中模最大的特征值(谱半径 ρ)决定:

谱半径 ρ 梯度行为 后果
ρ > 1 指数增长 ~ρ^T 梯度爆炸
ρ = 1 保持稳定 理想(残差连接的目的)
ρ < 1 指数衰减 ~ρ^T 梯度消失

1.3 数值例子:从 1.0 到 3325,只需要 20 层

每层乘数 |λ|=1.5,20 层后梯度范数 1.5^20 ≈ 3325;|λ|=0.7 则衰减到 0.7^20 ≈ 0.0008。起点相同,20 层后相差约 400 万倍。

这就是它为什么"突然"炸掉——指数增长在前期看不出异常,一旦量级跨过浮点范围就瞬间崩塌。

1.4 图示:梯度沿反向传播链逐层放大

前向:   输入 ──→ H₁ ──→ H₂ ──→ H₃ ──→ 输出/Loss
                   (数据逐层变换)

反向:   输入 ←── H₁ ←── H₂ ←── H₃ ←── Loss=1.0
         39.1    15.6    6.3     2.5     1.0
         ↑______ ↑______ ↑______ ↑______
           ×2.5    ×2.5    ×2.5    ×2.5
        梯度范数逐层放大(|λ|≈2.5 的示例)

2. 三种放大因子的对比(对数坐标)

下表是 ‖∇‖ = |λ|^n(n = 层数/时间步)的数值:

层数 n 爆炸 |λ|=1.5 健康 |λ|=1.0 消失 |λ|=0.7
1 1.5 1.0 0.7
5 7.6 1.0 0.17
10 57.7 1.0 0.028
15 437.9 1.0 0.0047
20 3325.3 1.0 0.0008

纵轴取对数时,三条曲线是直线,斜率 = log₁₀|λ|。符号决定爆炸还是消失,绝对值决定速度。


3. 根因分析:什么情况下 ρ > 1

3.1 RNN 最典型:W^T 反复相乘

循环网络在时间步上共享同一个权重矩阵 W,隐藏状态 h_t = f(W h_{t-1} + U x_t),反向传播会出现 W 的高次幂 W^T。若 W 的谱半径 > 1,长序列必然爆炸;< 1 则消失。这

机器学习中的微积分实战:梯度、链式法则与自动微分 微积分是机器学习优化的底层语言,其核心在于理解损失函数如何通过梯度指引参数更新方向。梯度本质是损失对参数的偏导数,决定下降最快路径;链式法则支撑反向传播,实现复合函数的高效求导;自动微分则将这一数学过程转化为可调试、可扩展的工程能力。它并非抽象理论,而是解决梯度爆炸、梯度消失、loss NaN等高频故障的关键依据,广泛应用于PyTorch/TensorFlow训练调试、自定义层开发、对抗样本生成及显存优化(如gradient checkpointing)。掌握这三个概念,等于握有模型收敛性诊断与性能调优的核 阅读详情

相关推荐

深度学习优化实战:从梯度质量到学习率调度的工程指南

梯度下降是深度学习训练的核心机制,其本质是在高维非凸损失曲面上,基于噪声梯度估计进行参数更新的迭代过程。理解其数学原理(如Lipschitz连续性约束、收敛性前提)是避免训练发散的基础;而掌握梯度质量诊断(爆炸/消失/噪声/冲突)与学习率动态调度(warmup、cosine退火、分层lr)则直接决定模型能否稳定收敛并获得良好泛化性能。本文聚焦PyTorch工程实践,覆盖SGD、AdamW、LAMB等主流优化器的真实适用边界,并强调weight_decay配置、梯度裁剪、混合精度等关键操作——这些不是调参玄学

weixin_34075268的博客 393

什么是梯度爆炸?

梯度爆炸(Gradient Explosion)是指在神经网络训练过程中,梯度值变得非常大,超出了网络的处理范围,从而导致权重更新变得不稳定甚至不收敛的现象。当梯度爆炸发生时,网络的权重更新可能会变得异常大,导致网络的参数值迅速膨胀,最终可能导致数值溢出、计算错误和训练失败。梯度爆炸通常在深度神经网络中出现,特别是当网络的层数较多,网络结构复杂时,或者使用了不合适的激活函数、初始化方法或优化算法时更容易发生。这是一种常见的方法,通过设置梯度的阈值来限制梯度的大小,确保梯度不会超过一定的范围。

CSDN 精品推荐 3019

【Bug已解决】[Bug] Catastrophic gradient explosion (NaN) in RLHF with Qwen3.5 due to 3D position_ids forc

在 Qwen3.5 上做 RLHF(PPO / GRPO)训练时,第一步或前几步就出现灾难性梯度爆炸,loss 直接变NaN;而且只在bf16混合精度下炸,切到fp32就不炸。这个不对称,是定位根因的关键指纹。

博客 3752

手写RNN代码核心:BPTT梯度传播与时间步管理

循环神经网络(RNN)是一种处理序列数据的基础时序模型,其本质在于通过权重共享和隐藏状态递推实现时间依赖建模。理解RNN的关键不在于循环语法本身,而在于反向传播如何沿时间轴展开——即通过BPTT(随时间反向传播)机制,将梯度在时间维度上链式累积,尤其需关注Whh梯度的跨步累加与dh_next的状态传递。这一原理直接决定模型能否学习长程依赖,在金融时序预测、NLP等任务中具有不可替代的技术价值。实际工程中,NumPy手写RNN能显式暴露时间步管理、隐藏状态初始化、梯度裁剪等关键环节,是深入掌握框架底层逻辑的有

weixin_34221112的博客 360

进芯AVP28335烧录避坑全记录:CCS、Uniflash、C2Prog、SDFlash四大工具配置详解

本文详细解析了进芯AVP28335芯片在烧录过程中遇到的常见问题及解决方案,涵盖CCS、Uniflash、C2Prog和SDFlash四大工具的配置要点。针对国产器件AVP28335的特殊需求,提供了从开发环境准备到烧录验证的全流程指南,帮助开发者高效完成程序烧录,避免常见陷阱。

weixin_30836759的博客 603

应急响应之windows日志分析工具logparser使用

windows日志分析工具logparser使用介绍

u013930899的博客 8128

2025反爬虫革命:京东商品接口的动态指纹认证与量子加密传输方案

在2025年,全球电商API接口面临的安全威胁呈现指数级增长:京东构建了基于硬件、软件、行为三重维度的设备指纹模型:京东构建了基于BB84+E91混合协议的量子密钥中继网络:

FB13713612741的博客 1651

从零开始:DJI-F450无人机硬件组装全流程解析

本文详细解析了DJI-F450无人机的硬件组装全流程,从开箱清点到焊接、机械组装、飞控系统搭建、电路整合及调试试飞。重点介绍了电调焊接、机臂安装、飞控校准等关键步骤的实用技巧和常见问题解决方案,帮助无人机爱好者从零开始完成专业级组装。

weixin_29210759的博客 632

【45】软考软件设计师——易错题TOP50精讲|陷阱解析+避坑技巧 错题本(含对比表)

本文是《软件设计师·50讲通关|从零基础到工程师职称》专栏第45篇,属于**模块六:冲刺与模拟**第二篇,聚焦软考高频易错题,精选50道经典陷阱题,覆盖数据结构、面向对象、设计模式、软件工程、数据库、计算机网络、操作系统七大核心模块。全文采用“错题题干+易错选项+错误原因+正确解析+避坑技巧”的错题本形式,深度拆解重载/重写、聚合/组合、DFS/BFS、排序稳定性等12组易混淆概念,配套对比表、记忆口诀强化区分,彻底解决考生“概念记混、审题不清、陷阱踩中”三大失分痛点,帮助考生建立“错题→解析→规律→规避”

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 531

ESP32-C3模组上跑通OTA升级(3)

ESP32-C3模组上跑通OTA升级(3)

phmatthaus的专栏 1354

2025华为OD面试手撕代码真题目录及面试八股文

本专栏更新每年华为OD机试的高频手撕代码题,每个题目都会使用五种语言进行解答(C & C++& Java & Python & JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2024e卷,od机试,2024E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2024华为od,如何备

KJ.JK 5万+

5、Visual Studio Code:强大的编码与文件管理功能

本文详细介绍了 Visual Studio Code 的强大编码与文件管理功能,涵盖代码导航、引用查找、符号重命名、实时代码分析、IntelliCode 提示、文件和文件夹操作等内容。通过功能对比、流程图和实际开发案例,展示了 VS Code 如何提升开发效率和代码质量,适用于各类编程语言和项目开发场景。

water的专栏 135

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 文本类数据预处理完整流程 · 从原始语料到模型输入
下一篇: 目标检测评价指标:从 IoU 到 mAP 的完整口径
reset2021
博客等级 码龄5年 567粉丝 436原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reset2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址