【一文学会】Gumbel-Softmax的采样技巧

Gumbel-Softmax简介 Gumbel softmax:解决了采样于计算图的分离问题。 阅读详情
AI摘要

本文深入探讨了强化学习中不同采样方法的原理及应用,包括基于softmax、gumbel-max、gumbel-softmax和ST-gumbel-softmax的采样策略,解析了Gumbel分布的作用及其在逼近多项分布采样中的优势,阐述了reparameterization技巧如何使采样过程可导,适用于网络梯度更新。

目录

基于softmax的采样

基于gumbel-max的采样

基于gumbel-softmax的采样

基于ST-gumbel-softmax的采样

Gumbel分布

回答问题一

回答问题二

回答问题三

附录


 

以强化学习为例,假设网络输出的三维向量代表三个动作(前进、停留、后退)在下一步的收益,value=[-10,10,15],那么下一步我们就会选择收益最大的动作(后退)继续执行,于是输出动作[0,0,1]。选择值最大的作为输出动作,这样做本身没问题,但是在网络中这种取法有个问题是不能计算梯度,也就不能更新网络。

基于softmax的采样

这时通常的做法是加上softmax函数,把向量归一化,这样既能计算梯度,同时值的大小还能表示概率的含义(多项分布)。

                                                    \fn_phv \large \pi_k = \frac{e^{x_k}}{\sum_{i=1}^{K} e^{x_{i}}}

于是value=[-10,10,15]通过softmax函数后有σ(value)=[0,0.007,0.993],这样做不会改变动作或者说类别的选取,同时softmax倾向于让最大值的概率显著大于其他值,比如这里15和10经过softmax放缩之后变成了0.993和0.007,这有利于把网络训成一个one-hot输出的形式,这种方式在分类问题中是常用方法。

但这样就不会体现概率的含义了,因为σ(value)=[0,0.007,0.993]与σ(value)=[0.3,0.2,0.5]在类别选取的结果看来没有任何差别,都是选择第三个类别,但是从概率意义上讲差别是巨大的。

很直接的方法是依概率采样完事了,比如直接用np.random.choice函数依照概率生成样本值,这样概率就有意义了。所以,经典的采样方法就是用softmax函数加上轮盘赌方法(np.random.choice)。但这样还是会有个问题,这种方式怎么计算梯度?不能计算梯度怎么更新网络?

def sample_with_softmax(logits, size):
# logits为输入数据
# size为采样数
    pro = softmax(logits)
    return np.random.choice(len(logits), size, p=pro)

 

基于gumbel-max的采样

gumbel分布的具体介绍会放在后文,我们先看看结论。对于K维概率向量\large \alpha,对\large \alpha对应的离散变量x_{i}=log(\alpha _i)添加Gumbel噪声,再取样

                                   \large x=\mathop{argmax}_i(\log(\alpha _i)+G_i)

其中,\fn_phv \large G_i是独立同分布的标准Gumbel分布的随机变量,标准Gumbel分布的CDF为F(x)=e^{-e^{-x}}.所以\large G_i可以通过Gumbel分布求逆从均匀分布生成,即G_i=-\log(-\log(U_i)),U_i\sim U(0,1)。x_{i}=log(\alpha _i)代入计算可知,这里的\large \alpha就是上面softmax采样的\large \pi,这样就得到了基于gumbel-max的采样过程:

  • 对于网络输出的一个K维向量v,生成K个服从均匀分布U(0,1)的独立样本ϵ1,...,ϵK;

  • 通过G_i=-\log(-\log(\varepsilon _i))计算得到G_i;

  • 对应相加得到新的值向量v′=[v1+G1,v2+G2,...,vK+GK];

  • 取最大值作为最终的类别

可以证明,gumbel-max 方法的采样效果等效于基于 softmax 的方式(后文也会证明)。由于 Gumbel 随机数可以预先计算好,采样过程也不需要计算 softmax,因此,某些情况下,gumbel-max 方法相比于 softmax,在采样速度上会有优势。当然,可以看到由于这中间有一个argmax操作,这是不可导的,依旧没法用于计算网络梯度。

def sample_with_gumbel_noise(logits, size):
    noise = sample_gumbel((size, len(logits)))    # 产生gumbel noise
    return np.argmax(logits + noise, axis=1)

 

基于gumbel-softmax的采样

如果仅仅是提供一种常规 softmax 采样的替代方案, gumbel 分布似乎应用价值并不大。幸运的是,我们可以利用 gumbel 实现多项分布采样的 reparameterization(再参数化)。

在VAE中,假设隐变量(latent variables)服从标准正态分布。而现在,利用 gumbel-softmax 技巧,我们可以将隐变量建模为服从离散的多项分布。在前面的两种方法中,random.choice和argmax注定了这两种方法不可导,但我们可以将后一种方法中的argmax soft化,变为softmax。

                              \large x=\mathop{softmax}((\log(\alpha _i)+G_i)/temperature)

temperature 是在大于零的参数,它控制着 softmax 的 soft 程度。温度越高,生成的分布越平滑;温度越低,生成的分布越接近离散的 one-hot 分布。训练中,可以通过逐渐降低温度,以逐步逼近真实的离散分布。

这样就得到了基于gumbel-max的采样过程:

  • 对于网络输出的一个K维向量v,生成K个服从均匀分布U(0,1)的独立样本ϵ1,...,ϵK;

  • 通过

gumbel-softmax如何实现离散分布可微+torch代码+原理+证明 gumbel-softmax 的原理和数学证明与torch代码实现 阅读详情

相关推荐

Gumbel Softmax Trick

Gumbel Softmax Trick

LittleSeedling的博客 1111

GPT-4稀疏激活真相:万亿参数下的MoE工程实践

大语言模型的稀疏激活是突破显存与通信瓶颈的核心技术路径,其本质并非简单减少计算量,而是通过MoE(Mixture of Experts)架构实现token级动态路由与专家负载均衡。在万亿参数规模下,密集模型面临单节点显存不可承载、AllReduce同步延迟超标等物理限制,迫使系统采用Top-K路由+专家容量限制的协同机制。GPT-4所宣称的‘2%激活率’实为受batch size、capacity_factor及语义聚集影响的稳态统计值,背后涉及Gumbel-Softmax路由头、滑动窗口容量调控、热温冷专

aobu0171的博客 403

大模型稀疏激活原理与MoE真实计算量解析

稀疏激活(Sparse Activation)是现代大语言模型实现高效推理的核心机制,其本质是通过动态路由(Routing)在每次前向传播中仅激活部分专家(Experts),而非全参数参与计算。该技术源于Mixture of Experts(MoE)架构,依赖门控网络(Router)对token embedding进行实时相似度匹配,并以Top-k策略选择最优专家子集。其核心价值在于显著降低实际FLOPs和显存带宽压力,使千亿级模型可在单卡部署;但需注意:它不减少常驻显存(Resident Paramete

weixin_30634661的博客 475

GPT-4稀疏激活真相:万亿参数模型的MoE工程实践

大语言模型的稀疏激活是突破显存瓶颈与延迟约束的关键技术路径,其核心原理在于通过MoE(Mixture of Experts)架构实现token级动态路由,在保证模型容量的同时控制实际计算开销。该机制并非简单‘关闭部分参数’,而是融合专家容量限制、负载感知调度与硬件协同优化的系统工程。技术价值体现在使1.8万亿参数模型可在单节点16张H100上稳定推理,将理论3.6TB显存需求压缩至73GB/卡;典型应用场景包括高并发API服务、低延迟对话系统及成本敏感型私有部署。本文聚焦GPT-4级MoE在真实生产环境中的

weixin_33858485的博客 405

GPT-4稀疏激活真相:万亿参数模型的MoE动态路由与工程实践

大语言模型中的稀疏激活,本质是通过Mixture of Experts(MoE)架构实现计算路径的按需调度,而非简单削减参数量。其核心原理在于路由头(Router)根据token语义动态选择Top-K专家,结合专家容量限制与负载均衡机制,在显存、带宽、延迟等硬约束下达成最优激活率。这种设计既规避了密集模型的物理显存天花板(如1.8T参数全激活需3.6TB FP16显存),又保障了专业任务的高精度响应。技术价值体现在推理成本可控、服务稳定性提升及硬件利用率优化,广泛应用于高并发API服务、低延迟边缘部署与垂直

corg81763的博客 571

MoE架构揭秘:千亿参数大模型如何实现2%激活率高效推理

混合专家(MoE)是一种突破传统稠密模型瓶颈的稀疏化架构,其核心原理是通过动态路由机制,在每次前向传播中仅激活少量专家子网络,从而在保持超大规模逻辑参数总量的同时,显著降低实际计算量与显存带宽压力。该技术兼顾模型容量与推理效率,已成为GPT-4、DeepSeek-R1等顶尖大模型的底层支撑。其工程价值体现在高吞吐、低成本、长尾任务适配等场景,尤其适用于数据中心级AI服务部署。本文深入解析MoE中专家共享骨架、Router动态负载均衡、Capacity Factor调优及专家并行等关键实现细节,聚焦‘2%参数

Liusuzhi19610221的博客 487

使用LSTM(长短期记忆)模型处理文本数据的典型流程

对于序列到序列的任务(如机器翻译),可以使用LSTM的隐状态来生成目标序列。这些向量捕获了词之间的语义关系,每个词都被表示为一个高维空间中的点,语义上相似的词在向量空间中彼此靠近。这通常是通过创建一个词汇表(vocabulary)来实现的,词汇表中的每个词都会被分配一个唯一的数字ID。:由于LSTM等循环神经网络(RNN)需要固定长度的输入,所以需要将不同长度的句子填充到相同的长度。由于计算机不能直接理解连续的文本,第一步是将文本分割成独立的词或标记(token)。:将词嵌入作为输入传递给LSTM模型。

YHKKun的博客 2502

【Web实战】微信小程序逆向

2E 70 6E 67”为带存放路径的文件名称,“00 00 11 7C”对应文件在小程序包中的具体偏移位置,“00 01 01 F7“对应文件在小程序包中的数据长度。但这并不是最初的原项目文件结构,原因是微信服务器会将小程序源码中所有的“js”文件压入“app-service.js”文件中,将所有的“json”文件压入“app-config.json”中,将所有的“wxml”文件压入“page-frame.html”文件中,“wxss”则在处理之后以“html”文件的形式存留在对应页面目录之下。

若有战,召必回 1955

已解决-Parallels Desktop 16 网络初始化失败:您的虚拟机将继续正常运作,但将无法连接网络

我是月球挖掘机,相信不少打工人为了尝鲜已经更新了MacOS 11 Big Sur,当然,苹果每次的系统大更新,都会给我们软件的功能无法使用惊喜,这次的也不例外。 这个问题是我在更新macOS Big Sur之后,Parallels Desktop打开虚拟机后,提示: 报错信息 网络初始化失败:您的虚拟机将继续正常运作,但将无法连接网络 这是我的软件版本: 起初我以为是我的虚拟机坏了,结果重装了一遍虚拟机,没有任何用处。我开始在网上找方法,只能找到那个使用命令行打开软件的命令,除此之外没有了

月球挖掘机 5万+

SillyTavern 向量存储配置踩坑记:从卡死到本地部署 Ollama 跑通

用此命令看到镜像就算成功。

qq_62483451的博客 1274

matlab kwave模拟超声换能器学习笔记

kwave模拟超声换能器的学习笔记,从零开始造车轮

SolvingMaster的博客 3203

GNSS气象学入门:从ZTD到PWV的水汽反演全流程解析(含精度评估)

本文详细解析了GNSS气象学中从ZTD到PWV的水汽反演全流程,包括基础概念、反演原理、数据处理步骤及精度评估方法。通过PRIDE软件和MATLAB代码示例,展示了如何高效提取ZTD数据并结合ERA5气象数据进行PWV计算,为气象研究和业务应用提供了实用指南。

weixin_28707365的博客 580

Arcgis栅格裁剪批处理工具

Arcgis栅格裁剪批处理工具

yilvyangguang520的博客 2175

基于 PCL 的工业盒体点云精准分割

本文提出一种基于PCL点云库的工业盒体点云分割算法,采用由粗到精的分层策略解决传统方法在噪声、稀疏和堆叠场景下的分割问题。算法通过区域生长粗分割、RANSAC平面筛选、球面回溯补全、凹包边界提取和圆柱回溯精分割五大核心模块,充分利用盒体几何先验特征,实现高效精准的分割效果。文章详细阐述了算法流程、参数调优指南及工程化要点,指出该方法相比深度学习具有速度快、鲁棒性强、部署简单的优势。同时分析了算法在倾斜、异形目标上的局限性,并展望了结合深度学习特征的混合模型发展方向。该算法为工业自动化场景中的3D视觉检测提供

weixin_45196569的博客 176

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

下一篇: 【一文学会】变分推断及其求解方法
谁把小明注册了
博客等级 码龄9年 30粉丝 3原创
评论 13
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址