基于价值的深度强化学习:DQN

DQN伪代码 Q学习 一种基于值的强化学习。 function QLearning(θ\boldsymbol\thetaθ, A\mathcal AA, S全\mathcal S_全S全​, mmm){  var QQQ = new arbitrarily;  /* 随机选取mmm个状态 */  do{   var y\mathcal yy = new List(mmm);   foreach(iii in S\mathcal SS.sample(mmm)){    var s\boldsymbol ss = Si\ma 阅读详情
AI摘要

本文介绍了深度Q网络(DQN)的原理,包括时间差分学习、最优动作价值函数和贝尔曼方程,提供了PyTorch和Stable-Baselines3版本的代码实现。通过伪代码展示了如何用TD方式训练DQN,并探讨了经验回放和目标网络在训练过程中的应用。

本文主要是介绍DQN原理和算法伪代码和代码实现,算法实现包括pytorch版本和stable-baselines3版本

1 时间差分(Temporal Difference)

强化学习与监督学习最大的不同是监督学习有监督信号,而强化学习只有奖励信号。

1.1 有监督的训练

举例如下:

例 1:监督方式训练
假设我是个用户,我要从北京驾车去上海。从北京出发之前,我有个不太好的模型做预测,模型告诉我总车程是14小时在这里插入图片描述当我到达上海,我知道自己花的实际时间是 16 小时,这样这次旅行就形成了一个训练样本:在这里插入图片描述这样就可以根据这个样本对模型进行更新,让模型更准确一点

在这里插入图片描述
显然这个例子中,这个 y = 16 y=16 y=16是监督信号,模型训练步骤如下:

在这里插入图片描述
在完成一次梯度下降之后,如果再让模型做一次预测,那么模型的预测值会比原先更接近 y = 16.

1.2 时间差分方式的训练

强化学习的情形是没有监督信号,只有奖励信号。和上面的例子对应就是如下的情形:

例 2:时间差分方式训练
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2 最优动作价值函数

在一局 (Episode) 实验中,把从起始到结束的所有奖励记作:
在这里插入图片描述定义折扣率 γ ∈ [ 0 , 1 ] \gamma \in [0, 1] γ∈[0,1]。折扣回报的定义是:
在这里插入图片描述在游戏尚未结束的 t t t 时刻, U t U_t Ut​ 是一个未知的随机变量,其随机性来自于 t t t 时刻之后的所有状态与动作。动作价值函数的定义是:
在这里插入图片描述最优动作价值函数用最大化消除策略 π:
在这里插入图片描述可以这样理解 Q ∗ Q_* Q∗​:已知 s t s_t st​和 a t a_t at​,不论未来采取什么样的策略 π \pi π,回报 U t U_t Ut​的期望不可能超过 Q ∗ Q_* Q∗​。
所以假如知道了 Q ∗ Q_* Q∗​,就可以用 Q ∗ Q_* Q∗​去做控制。举例:对于动作空间 A = { 左 , 右 , 上 } \mathcal{A} = \{左,右,上\} A={ 左,右,上},对于当前状态 s t s_t st​,有
在这里插入图片描述如果现在智能体选择向左走,不管后面采取什么策略,回报的期望不会超过610,智能体应该选择向上跳。所以我们希望知道 Q ∗ Q_∗ Q∗​,因为它就像是先知一般,可以预见未来,在 t 时刻就预见 t 到 n 时刻之间的累计奖励的期望。
所以问题是怎么得到 Q ∗ Q_∗ Q∗​?深度强化学习的办法就是用深度神经网络通过训练去近似:
在这里插入图片描述
接下来的问题是,怎么用TD的方式训练DQN。其根据就是最优贝尔曼方程

3 最优贝尔曼方程

3.1 动作价值函数

在这里插入图片描述

3.2 状态价值函数

在这里插入图片描述

3.3 贝尔曼方程

在这里插入图片描述

3.4 最优贝尔曼方程

在这里插入图片描述

4 用TD的方式训练DQN

4.1 ( s t , a t , r t , s t + 1 ) (s_t,a_t,r_t,s_{t+1}) (st​,at​,rt​,st+1​)四元组

在最优贝尔曼方程中已经看到了TD目标的出现:

深度强化学习-DQN算法原理与代码 DQN算法是DeepMind团队提出的一种深度强化学习算法,在许多电动游戏中达到人类玩家甚至超越人类玩家的水准,本文就带领大家了解一下这个算法,论文的链接见下方。 论文:https://www.nature.com/articles/nature14236.pdf 代码:后续会将代码上传到Github上... 1 DQN算法简介 Q-learning算法采用一个Q-tabel来记录每个状态下的动作值,当状态空间或动作空间较大时,需要的存储空间也会较大。如果状态空间或动作空间连续,则该算法无法使用。因 阅读详情

相关推荐

【深度强化学习】(1) DQN 模型解析,附Pytorch完整代码

DQN(Deep Q Network)是深度神经网络和 Q-Learning 算法相结合的一种基于价值的深度强化学习算法。DQN 同时用到两个结构相同参数不同的神经网络,区别是一个用于训练,另一个不会在短期内得到训练.通过采用第二个未经训练的网络,可以确保 “目标 Q 值” 至少在短时间内保持稳定。引入经验回放使得智能体在内存容量范围内从一开始就执行的所有动作和观察都将被存储。然后从此存储器中随机选择一批样本。

博观而约取,厚积而薄发 5万+

从DQN到Dueling DQN:一文读懂强化学习中的价值函数优化技巧

本文系统梳理了强化学习中价值函数优化技术的演进,从经典的DQN到其两大核心改进——解决Q值过估计的Double DQN和重构网络架构的Dueling DQN。文章深入剖析了算法原理,并通过TensorFlow 2.0实战代码对比,展示了如何结合两者优势构建更强大的Dueling Double DQN智能体,以提升训练稳定性和学习效率。

weixin_29061821的博客 114

深度强化学习6——DQN的改进方法

在上一篇文章我们提到了DQN还存在的问题: 1)目标Q值的计算是否准确?全部通过max Q来计算有没有问题? 2)随机采样的方法好吗?按道理不同样本的重要性是不一样的。 3)Q值代表状态,动作的价值,那么单独动作价值的评估会不会更准确? 相应的改进方法是Double DQN、Prioritised Replay DQN、Dueling DQN,下面我们将一一介绍这些方法。 Doub...

谢宜廷的博客 6766

DQN vs Double DQN vs Dueling DQN:3 种算法在 Atari Pong 上的性能对比评测

本文深度剖析了DQN、Double DQN和Dueling DQN三种深度强化学习算法在Atari Pong环境下的性能差异。通过实验对比,揭示了Double DQN在训练效率和最终得分上的优势,以及Dueling DQN在稳定性上的卓越表现,为算法选择和参数调优提供了实践指导。

weixin_26824299的博客 292

莫烦python简历_Rainbow: 融合DQN六种改进的深度强化学习方法!

1 简介Rainbow是DeepMind提出的一种在DQN的基础上融合了6个改进的深度强化学习方法。六个改进分别为:(1) Double Q-learning;(2) Prioritized replay;(3) Dueling networks;(4) Multi-step learning;(5) Distributional RL;(6) Noisy Nets.Rainbow是model-f...

weixin_32859127的博客 1350

图解DQN,DDQN,DDPG网络

图解DQN,DDQN,DDPG网络1. DQN1.1 网络结构1.2 产生experience的过程1.3 Q网络的更新流程2. DDQN2.1 网络结构2.2 产生experience的过程2.3 Q网络的更新流程3. DDPG3.1 网络结构3.2 产生experience的过程3.3 Actor网络的更新流程3.4 Critic网络的更新流程 1. DQN 深度Q网络(Deep Q Network)适用于动作离散的强化学习任务 1.1 网络结构 深度Q网络有两个网络结构,如下所示: Q网络输入是状态

Echooo的博客 1万+

深度强化学习的常用算法——DQN,DDPG,PPO

2015年末,机器学习已经成为人类与机器交互的新方式。近几年,随着强化学习在各个领域的广泛应用,深度强化学习也逐渐成为学术界和工业界研究的热点话题。深度强化学习(Deep Reinforcement Learning)是基于机器学习和大数据等技术提出的一种新的机器学习方法。它利用大量的实时反馈信息和高维动作空间,通过学习从原始输入到执行动作的映射关系,从而解决复杂问题,取得比传统机器学习更好的效果。其中最著名的就是由OpenAI开发的强化学习库OpenAI Gym。

AI天才研究院 3033

Python读取ECMWF grib数据;Anaconda配置eccodes和cfgrib环境及安装过程

python读取grib数据,eccodes,cfgrib安装。

qq_36714629的博客 2245

Jetson编译安装pycuda

可使用nvcc --version查看是否有信息输出,若没有,且安装cuda的情况下,需要手动将CUDA 的路径添加到环境变量中。编译生成_pvt_struct.cpython-38-aarch64-linux-gnu.so文件。基于jetson orin nano jetpack512模块上安装pycuda。4、获取pycuda源码(版本根据实际情况获取)2、进入conda环境并安装cuda工具包。9、若未检测出来需要清除并强制编译。7、编译成功后安装pycuda。5、配置编译并设置环境变量。

qq_48175141的博客 975

EMI硬件抑制八项工程对策:从回路面积到谐振规避

电磁干扰(EMI)是电子系统可靠性与EMC合规性的核心挑战,其本质源于高频电流回路产生的辐射与耦合效应。理解回路面积、共模/差模噪声、阻抗匹配等基础原理,是实施有效抑制的前提。技术价值体现在降低辐射发射(RE)、传导发射(CE)超标风险,提升产品一次通过率与长期稳定性。典型应用场景包括开关电源设计、高速数字接口布局、工业嵌入式设备及医疗电子等对EMC要求严苛的领域。本文聚焦可落地的硬件级对策,涵盖回路面积控制、屏蔽策略、变压器漏磁管理、双线传输与阻抗匹配等关键实践,深度融合电流回路物理模型与PCB工程实现。

weixin_35019679的博客 86

从分立到集成:深入解析Buck电路的核心模块与设计权衡

本文深入解析Buck电路的核心模块与设计权衡,从分立到集成方案的优缺点对比。详细探讨Buck电路的高效能量转换、小型化设计及灵活电压调节能力,并结合实际案例分享分立方案中的PWM生成、反馈环路设计及保护电路优化经验,为工程师提供实用设计参考。

weixin_29306317的博客 225

从谱峰搜索到多项式求根:Root-MUSIC算法原理与MATLAB实践

本文深入解析Root-MUSIC算法在阵列信号处理中的原理与应用,通过多项式求根替代传统MUSIC算法的谱峰搜索,显著提升计算效率和精度。文章详细介绍了算法核心思想、MATLAB实现步骤及工程优化技巧,帮助读者掌握这一高效的DOA估计方法。

weixin_30832143的博客 85

Android影像系统架构专家面试指南

传音控股招聘影像系统架构专家,要求8年以上开发经验,5年架构设计经验,精通Android Camera开发及性能优化。该职位需负责手机影像软件架构设计、技术选型及跨平台适配,重点解决"快稳省"体验优化。面试评估聚焦三大维度:技术方面考察HAL层架构设计、多帧合成优化等能力;系统开发关注低光降噪等场景的算力平衡;团队管理侧重跨部门协作与项目交付。候选人需展现对CamX-CHI等架构的深入理解,具备量化分析性能指标的能力,并能主导旗舰机影像项目全周期落地。

郑伟强dev的专栏 950

使用MATLAB求解二维顶盖驱动流问题的详细代码和说明

本文介绍了使用MATLAB求解二维顶盖驱动流问题的涡量-流函数方法。代码采用129×129网格,雷诺数Re=1000,通过迭代求解Navier-Stokes方程,包含流函数方程和涡量输运方程的离散求解。程序实现了边界条件处理、收敛性检查,并提供丰富后处理功能:流线图、涡量分布图、中心线速度曲线、矢量图和三维涡量可视化。计算结果可与Ghia等(1982)的经典数据进行验证。该代码完整展示了CFD问题的数值求解流程,包括参数设置、主循环计算和多种结果呈现方式,适用于流体力学教学和科研验证。

AI的内部世界的博客 227

在 PFCG 中完成 SAP Fiori 对象分配:把 Business Catalog、Space、Page 与授权一次讲透

摘要:SAP Fiori权限配置的关键在于理解Business Catalog与Space的分层授权逻辑。传统SAP GUI中直接分配事务码的方式不适用于Fiori环境,必须通过PFCG为角色分配Catalog(提供应用访问权限)和Space(控制首页展示结构)。Catalog会自动解析所需OData服务授权,而Space则决定用户在Launchpad中看到的导航布局。常见错误包括直接分配Page而非其所属Space,或仅配置Space而忽略Catalog。最佳实践是优先使用Catalog驱动授权提议,再在

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 330

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 自己一些感想1:之于人,之于智能体,之于交互
下一篇: 基于策略的深度强化学习:理论部分
溯源006
博客等级 码龄19年 693粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址