深度强化学习调参技巧:以DQN、DDPG、TD3、PPO、SAC等算法为例

AI摘要

本文介绍了深度强化学习(DRL)的调参技巧,包括如何编写训练环境,选择和调参D3QN,TD3,PPO,SAC等算法。强调了在不同阶段如何调整网络宽度、记忆容量、批次大小、更新次数、折扣因子等超参数,并探讨了离散和连续动作空间的探索策略。文章还提到了环境的随机因素对调参的影响,以及如何处理学习曲线的波动。

  • 深度强化学习 Deep Reinforcement Learning 简称为 DRL
  • 运行 DRL 算法代码(实际使用 + 调整参数),需要更多 DL 基础
  • 阅读 DRL 算法论文(理解原理 + 改进算法),需要更多 RL 基础

深度强化学习算法能训练能智能体: 机械臂取物、飞行器避障、控制交通灯、机器人移动、交易股票、训练基站波束成形选择合适的权重超越传统算法。实际使用时,问题却很多:

  • 一开始会问:算法那么多,要选哪个?训练环境怎么写?
  • 选完后会问:**算法怎么调参?**收益函数 reward function 要怎么改?(看的人多,有空再写,太长了)

后一个问题,就是当前这篇文章 深度强化学习调参技巧:以 D3QN、TD3、PPO、SAC 算法为例

1.训练环境怎么写

强化学习里的 env.reset() env.step() 就是训练环境。其编写流程如下:

初始阶段:

  • 不要一步到位,先写一个简化版的训练环境。把任务难度降到最低,确保一定能正常训练。
  • 记下这个正常训练的智能体的分数,与随机动作、传统算法得到的分数做比较。DRL 算法的分数应该明显高于随机动作(随机执行动作)。DRL 算法不应该低于传统算法的分数。如果没有传统算法,那么也需要自己写一个局部最优的算法(就算只比随机动作的算法高一点点都可以,有能力的情况下,要尽量写好)。
  • 评估策略的性能: 大部分情况下,可以直接是对 Re
DQN调整超参数体会 接上篇 (Deep Reinforcement Learning with Double Q-learning, H. van Hasselt et al., arXiv, 2015)练习DQN有很多超参数,主要有:经验回放集合尺寸,神经网络结构,GAMMA值,学习率,e_greedy值和正负回报值。如此多的超参数,很难调好,必须认真体会总结。=======================经验回放 阅读详情

相关推荐

主流强化学习算法论文综述:DQN、DDPG、TRPO、A3C、PPO、SAC、TD3

强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长,获得学术界极高的关注。在此之间,强化学习主要以model based模型为主,其特点为问题针对性强,需要大量的人为假设,且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性,一个算法吃遍天下所有任务,因此也提高了之间的可比较性,也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...

te_sun的博客 2万+

DDPG或TD3算法训练时总是输出边界值问题记录

最近在使用stable-baselines3框架中的DDPG算法时,发现一个问题:只要算法探索步数达到learning_starts,一开始学习,actor网络很快就会输出动作边界值,然后就保持不变,一直输出同样的边界值。后来换了TD3,发现也会出现这个问题,于是就上网查找解决方案,发现很多人都有这个问题,但是都没解决。下面我从自己的经验出发,结合网上其他人的分析,给出造成这个问题可能的原因以及解决方案: 1.如果你的actor网络输出使用tanh函数,那么一个很大的可能性就是预激活变量(输入tanh的)

qq_31239371的博客 1万+

第20篇:深度强化学习进阶:从PPO到SAC

本文系统介绍了现代深度强化学习的三大核心算法:PPO通过Clip机制和重要性采样实现稳定高效的策略优化;SAC结合最大熵框架和双Q网络提升探索能力与样本效率;TD3在DDPG基础上引入双Q网络、延迟更新和目标策略平滑三大改进。文章详细解析了各算法的核心思想、实现机制与优势特点,并基于Stable-Baselines3库提供了在MuJoCo环境中的实战代码示例。最后给出了算法选择指南和学习建议,指出PPO适合初学者,SAC和TD3更适用于连续控制任务。全文兼顾理论深度与实践指导,为读者构建了完整的现代强化学习

to do , to be . 1644

深度强化学习落地方法论(3)——算法选择篇

目录前言强化学习——探索和利用的平衡游戏DQNDDPGA3C其他算法 前言 虽然每年RL方向的paper满天飞,但真正具有普遍实用价值的突破性工作实在不多,大多数还是在经典框架基础上的改进和扩展。DRL常规武器库里的存货主要还是老三样:DQN,DDPG和A3C,它们是深度学习时代最成熟、最能体现智慧结晶的三个DRL框架,你可以在GitHub上找到无数相关代码,有OpenAI,NVIDIA这些大公司...

wyjjyn的博客 3394

如何选择深度强化学习算法:MuZero/SAC/PPO/TD3/DDPG/DQN/等算法

如何选择深度强化学习算法:MuZero/SAC/PPO/TD3/DDPG/DQN/等算法

丨汀、的博客 5225

DQN的调参经验分享:优化模型性能的秘诀

DQN的调参经验分享:优化模型性能的秘诀 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1 强化学习的兴起与挑战 近年来,强化学习 (Reinforcement Learning, RL) 作为机器学习的一个

AI天才研究院 1157

强化学习调参经验大集成:TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数

强化学习调参经验大集成:TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数

丨汀、的博客 1万+

深度强化学习落地方法论算法选择:DQN、DDPG、A3C、PPO、TD3

深度强化学习落地方法论算法选择:DQN、DDPG、A3C、PPO、TD3

丨汀、的博客 8902

如何选择深度强化学习算法?MuZero/SAC/PPO/TD3/DDPG/DQN/等(2021-04)

高清图片见搜索图中的网址的加粗部分ElegantRL、LilianWeng、EwanLi 策略梯度 就能找到这里的「模型」指:状态转移模型。离散状态空间下的状态转移模型可以用 状态转移矩阵去描述。

u013250861的博客 7771

基于gym的PyTorch深度强化学习算法合集:PPO、DQN、SAC、DDPG、TD3选型与实战

深度强化学习通过智能体与环境的持续交互来学习最优策略,其核心在于平衡探索与利用。在PyTorch与gym生态中,PPO、DQN、SAC、DDPG、TD3等算法分别针对离散与连续动作空间提供了不同的解决方案。这些算法在样本效率、训练稳定性和超参敏感性上差异显著,直接影响移动机器人导航、路径规划等连续控制任务的落地效果。理解动作空间与算法家族的匹配关系,掌握经验回放、目标网络、最大熵等机制,是避免训练发散和Q值过估计的关键。本文围绕一份gym+PyTorch算法合集,系统梳理从环境搭建、最小闭环到选型对比与避坑

weixin_33046983的博客 226

深度强化学习算法源码实战:PyTorch实现PPO、DQN、SAC与DDPG

深度强化学习是人工智能领域的热门方向,PPO、DQN、SAC、DDPG等经典算法更是研究与应用的核心。理论理解容易,但真正动手用PyTorch复现时,环境配置、代码结构、训练不收敛等问题常让人寸步难行。本文从算法复现的通用痛点出发,梳理了一套模块化、易扩展的深度强化学习源码实现思路。通过统一经验回放接口、标准化状态处理、灵活的超参配置,让不同算法之间可以快速切换与对比。同时,深入剖析了PPO的裁剪目标、DQN的软更新机制、SAC的熵正则调节以及DDPG的平滑正则等关键实现细节,并结合实际踩坑经验给出训练调试

weixin_30607125的博客 271

奈曼-皮尔逊准则

奈曼-皮尔逊准则 如果各个假设的先验概率P(Hi)(i=0,1)P(H_i)(i=0,1)P(Hi​)(i=0,1)已知,并且每种判决的代价函数已知,这时,可以用贝叶斯准则进行判决。 如果进一步假设正确判决不付出的代价,而错误判决代价相同,即c00=c11=0,c01=c10=1c_{00}=c_{11}=0,c_{01}=c_{10}=1c00​=c11​=0,c01​=c10​=1,这时可以用最小平均错误概率准则进行判决。 在不知道先验概率P(Hi)(i=0,1)P(H_i)(i=0,1)P(Hi​)(

little_soldier的专栏 1万+

分布式存储系统关于GDPR条例中的数据清除原则

文章目录前言HDFS存储系统数据的完全删除基于加解密的输入输出流的数据保护方案 前言 关于GDPR是什么,可能许多同学之前并不太了解,至少笔者在之前也是不清楚的。GDPR全称为通用数据保护条例,General Data Protection Regulation。它是一项来自欧盟的关于计算机数据保护相关的条约,旨在规范系统如何收集,管控用户私人数据的种种行为。但是当前的一些存储系统并没有完全符合...

走在前往架构师的路上 3633

【YOLOv11多模态涨点改进】独家创新首发 | TGRS 2025 | 引入CDFIM跨模态差异特征交互模块,通过差异特征提取和融合增强机制,减少了冗余信息,显著提升了小目标的检测精度,高效涨点改进

🔥本文给大家介绍使用 CDFIM跨模态差异特征交互模块改进 YOLOv11多模态目标检测,通过有效的差异特征提取和增强,显著提升了小目标的检测精度,特别是在复杂背景和低对比度环境下。该模块通过残差加法和通道与空间注意力机制,增强了可见光与红外模态之间的互补特征交互,减少了冗余信息,提高了检测稳定性。尽管提升了特征交互,CDFIM 仍保持轻量化设计,计算开销和参数量较低,适合实时检测应用。总的来说,CDFIM 模块在保留原始模态信息的同时优化了特征融合,有效提高了 YOLO 在多模态目标检测中的鲁棒性和精度

Ai缝合怪、助力小伙伴高效发论文 134

YOLOv11改进 - C3k2融合 | C3k2融合细节增强卷积DEConv(Detail-Enhanced Convolution)提升细微特征提取能力

本文介绍了细节增强卷积(DEConv)技术在YOLOv11中的结合应用。DEConv由标准卷积层和多种差异卷积层并行组成,通过计算像素差异和卷积操作增强特征提取能力,还采用重参数化技术简化模型结构。其优势在于能更好捕捉高频信息、保持参数数量不变且降低推理计算成本。我们将DEConv集成进YOLOv11,替换部分模块。

魔改工程师的博客 865

用 ADT 连接 SAP S/4HANA Public Cloud 开发租户的完整落地指南

摘要:在SAP S/4HANA公有云中进行ABAP开发时,必须使用Development Tenant(客户端080)而非Customizing Tenant(客户端100)连接ADT工具。开发用户需具备SAP_BR_DEVELOPER角色且写权限不受限,开发对象应创建在结构包的子包中。连接前需确认正确的ABAP服务URL(通常为Launchpad URL去掉"/ui"),并通过运行控制台程序验证全链路功能。典型开发场景如通过BAdI实现业务校验时,需遵循Clean Core原则在指定包

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 347

在 RAP 中把业务对象“搬到网口上”:service definition 与 service binding 的全流程、范式与实战

本文解析了SAP ABAP开发中service definition和service binding的关键作用。service definition负责选择要暴露的CDS实体和行为,形成服务模型;而service binding则将服务绑定到具体协议(如OData),生成可访问的端点。两者分离带来三大优势:支持同一模型多重发布、降低环境迁移耦合度、强化安全治理。文章通过预订业务对象的端到端示例,展示了如何从CDS建模到生成Fiori Elements预览。最后以售后工单业务为例,说明这种架构如何支持内外服务

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 396

android 14.0 去掉usb授权提示框 默认给予权限

在14.0的系统rom产品开发中,在进行iot关于插入usb设备的开发过程中,在插入usb设备时会弹出usb授权提示框,也带来一些不便, 这个需要默认授予USB权限,插拔usb都不弹出usb弹窗所以这要从usb授权相关管理页默认给与usb权限,接下来分析下 相关的实现功能流程

安卓兼职framework和app工程师的博客 2267

RK3576 Buildroot 双机 ADB 异常排障实录:同版 `boot.img`,一台可识别一台不可识别

进程在跑”不等于“USB 枚举成功”,adbd存活只是必要不充分条件。生产环境中的全局别名可能反向污染系统脚本。shell 命令替换中的字符串问题,必须做字节级验证(od -tx1相比“改环境规避”,核心脚本对输入做鲁棒处理更可长期维护。

小灰灰的博客 218

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 深度强化学习:深度解析 MADDPG
下一篇: 如何选择深度强化学习算法:MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
汀、人工智能
汀、人工智能 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄9年 10万+粉丝 1127原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址