深度强化学习落地方法论算法选择:DQN、DDPG、A3C、PPO、TD3

AI摘要

本文探讨了深度强化学习中的DQN、DDPG和A3C(A2C、PPO)算法,强调它们在探索与利用之间的平衡。DQN适用于离散动作空间,DDPG处理连续控制任务,而A3C(A2C、PPO)则具有较强的通用性和环境适应性。对于连续控制任务,推荐使用SAC、TD3和PPO;离散任务则推荐SAC-Discrete和PPO。

虽然每年 RL 方向的 paper 满天飞,但真正具有普遍实用价值的突破性工作实在不多,大多数还是在经典框架基础上的改进和扩展。DRL 常规武器库里的存货主要还是老三样:DQN,DDPG 和 A3C,它们是深度学习时代最成熟、最能体现智慧结晶的三个 DRL 框架,你可以在 GitHub 上找到无数相关代码,有 OpenAI,DeepMind 和 Nvidia 这些大公司的,也有个人爱好者的。对于 DRL 初学者,它们是最佳的敲门砖;对于算法研究者,它们是最厚实的 “巨人肩膀”;对于算法工程师,它们是最顺手的试金石。你完全可以把三个框架都放到项目模拟器上跑一跑,看哪个效果好就用哪个。当然,这三个算法框架都有各自的特点和适用 domain,结合对项目的分析,是可以提前评估最合适的算法的。

1.强化学习——探索和利用的平衡游戏


总体来说,强化学习是一个探索(Exploration)和利用(Exploitation)的平衡游戏,前者使 agent 充分遍历环境中的各种可能性,从而有机会找到最优解;后者利用学到的经验指导 agent 做出更合理的选择。两者之间可以说是相爱相杀的关系:

  1. 充分的探索才能带来有效的利用,从而使 RL 走在正确的道路上。对于那些难度特别高的任务,改进探索策略是性价比最高的手段,比如 AlphaGo 使用蒙特卡洛决策树征服了围棋,Go-Explore 利用状态回访打爆了 Montezuma’s Revenge
  2. 充分的利用才能探索到更好的状态,agent 往往需要掌握基本技能,才能解锁更高级的技能。就好像小孩先要学会站起来,才能学会走,然后才能学会跑。这种从易到难、循序渐进的思想在 RL 中也很受用,著名的 Curriculum Learning 就是由此而来
  3. 过量的探索阻碍及时的利用。如果随机探索噪声强度过高,已经学到的知识会被噪声淹没,而无法指导 agent 解锁更好的状态,导致 RL 模型的性能停滞不前
  4. 机械的利用误导探索的方向。如果刚刚学到一点知识就无条件利用,agent 有可能被带偏,从而陷入局部最优,在错误道路上越走越远,在训练早期就扼杀了最好的可能性

强化学习的训练过程其实就是从以探索为主到以利用为主的过渡过程,训练早期通过广泛试错找准一个方向,然后沿着该方向一路试探下去直到达到最优。请牢牢记住这 “两点一线”,因为这是所有 RL 算法的主要内容,任何 RL 算法都能以此为切入点进行解构,有助于不断加深对算法的理解。接下来我就结合实际经验,谈谈对三个主流 DRL 框架的一些浅见。

2.DQN


DQN 是借助 AlphaGo 最早成名的深度强化学习算法,其核心思想是利用 Bellman 公式的 bootstrap 特性,不断迭代优化一个 Q(s,a)函数,并据此在各种状态下选择 action。其中 Q(s,a)函数拟合的是一对状态 - 动作的长期收益评估,该算法没有显式的 policy。DQN 探索和利用的平衡靠的是一种称为ε-greedy 的策略,针对最新的 Q(s,a)函数和当前的输入状态 s,agent 做决策时以概率ε随机选择 action,而以 1-ε的概率选择使 Q(s,a)最大的 action,随着ε从大到小变化,DQN 也相应地从 “强探索弱利用” 过渡到“弱探索强利用”。

DQN 的原理使其天然地适合离散动作空间,也就是 action 可以穷举,比如走迷宫的 agent 只允许前后左右 4 个动作,下围棋的 AlphaGo 只允许 19*19=361 个落子位置(实际还要排除已经落子的网格点)。这是一个重要的特征,如果你手上是一个连续控制任务,action 在某区间内有无数种可能,那就不适合用 DQN 了。当然,你也可以选择把区间离散化,这样就可以应用 DQN 了,也曾有 paper 报告这样做在某些任务中可以比连续控制取得更好的性能。

DQN 属于 off-policy 方法,所谓 off-policy 是指用于计算梯度的数据不一定是用当前 policy 采集的。DQN 使用一个叫 replay buffer 的 FIFO 结构,用于存储 transition:(s,a,s’,r),每次随机从 buffer 中拿出一个 batch 用于梯度计算和参数更新。Replay buffer 是稳定 DQN 训练的重要措施,对历史数据的重复使用也提高了其数据利用率,对于那些数据比较 “贵” 的任务,比如 Google 的抓取应用(见需求分析篇),这一点非常重要,事实上 Google 除了 replay buffer,还专门搞了个数据库,把之前存储的另一个抓取应用采集的数据拿出来做预训练,精打细算到了极致,真是比你有钱,还比你节约~

DQN 的缺点挺多,有些是 RL 的通病,比如对超参数敏感,我在训练篇会详细介绍;另外利用 Bellman 公式的 bootstrap 特性更新 Q 值的方式自带 bias,外加计算目标 Q 值时使用同一个网络评估和选择动作(见下式),DQN 容易被 overestimation 问题困扰,导致训练稳定性较差,近些年学术界有不少工作是围绕这一点做出改进(比如 Double DQN)。此外,DQN 还有 off-policy 方法的通病,对历史数据的重复利用虽然可以提高数据效率,但有个前提条件是环境 model 不能发生变化,single agent 任务较易满足这个条件,但 multiagent 场景就未必了,对任意 agent 而言,其他 agent 也是环境的一部分,而他们的学习进化会改变这个环境,从而使历史数据失效,这就是 MARL 领域著名的环境不稳定问题,除非 replay buffer 内的数据更新足够快,否则 off-policy 方法的性能往往不如 on-policy 方法。

3. DDPG


针对 DQN 无法处理连续控制任务的缺点,DDPG 在 DQN 的基础上做了改进,引入了一个输出连续 action 的显式 policy,与 Q 函数组成 Actor-Critic 结构,更新 policy 网络的梯度完全来自于 Q 网络,目标是最大化当前的 Q 函数。Q 函数的更新与 DQN 类似,只是计算 s’状态下目标值时放弃了 max 操作,而采用当前 policy 网络的输出π(a|s’)。DDPG 名字里的第一个 D 是 Deterministic 的缩写,意思是确定性的,这是有意与正宗 Actor-Critic 方法(如 A2C/A3C 等)区分开,后者 policy 输出的是 action 的概率分布,而 DDPG 输出的就是确定性的 action。正因为如此,DDPG 采用了独特的探索方式,即在 action 输出直接加上一个 noise,该 noise 的强弱决定了探索力度,本质上相当于以当前 action 为中心形成了一个概率分布,每次更新都使 policy 向该分布中更好的方向演化,直到 action 达到了最优,此时对应分布内其他方向都是更差的方向,policy 输出也就稳定在最优 action 附近了,从而实现了探索和利用的平衡。

能用于连续控制任务自然是招人喜欢的,毕竟实际控制任务的变量往往都是连续取值的,比如角度、位移、速度、加速度、电流、电压等等。学者们把 DDPG 用在 MuJoCo 上,解决了很多连续 domain 的任务,后来也有人把它用到真实的软体章鱼机器人上,用两只触角实现了向前运动。然而,在连续区间上找到最优的确定性 action 输出本身是一件非常困难的事,导致 DDPG 在 action 维度较高的复杂任务中表现不佳,比如 KUKA iiwa 机器人有 7 个自由度,使得探索空间一下大了很多,训练难度陡升。同时 policy 网络的梯度完全来自于 Q 网络,Q 函数的拟合误差都直接传导给了 policy,致使 DDPG 的训练稳定性也不足。在 Google 的抓取应用中,干脆抛弃了独立 policy 网络,做决策时随机在区间里取 16 个点输入 Q 网络,然后选择 Q 值最大的那个作为 action,实验结果表明如此粗糙的做法却大大提升了训练稳定性,且性能显著优于 DDPG,有点尴尬……

总结一下,如果我们面对的问题是连续控制任务,action 维度又不高,可以尝试用 DDPG 解决,但也不要忘了离散化动作空间并用 DQN 训练得到更高性能的可能性。如果 action 维度很高,那还是别用 DDPG 的好。如果数据很 “贵” 不得不用 off-policy 方法的话,那就向 Google 学习,拿掉 policy 网络,直接用 Q 网络 + 启发式搜索选择 action。如果数据廉价又追求高性能,我推荐使用 PPO 框架——个人比较偏爱的一种框架。

2021 年 2 月 15 日更新:上述建议已经过时了,对于连续控制任务,推荐优先使用 SAC,后者在训练稳定性、收敛速度和性能方面都是目前的 SOTA,作为 off-policy 算法数据效率也相对较高,SAC 作者尝试直接用实体机器人采样并在几个小时内成功收敛。

4.A3C→A2C→PPO


在成熟版 SAC 出现以前,PPO 曾带给我最多的成功经验。PPO 从 A3C 的同步版本 A2C 的基础上演化而来。

A3C 作为 Actor-Critic 算法,核心是 REINFORCE 梯度策略方法。其 policy 输出的不是 action,而是关于 action 的概率分布,因此梯度无法直接从 Critic(又称为 V 网络)流到 policy 网络,只能用在线样本统计出一个近似梯度。原始 REINFORCE 梯度形式如 ∇\nabla∇\nabla V(s) logπ(a|s),直观解释就是使状态 s 下返回高 V 值的 action 出现概率更大。缺点是 V 值绝对值不可控(与 reward 等因素有关),variance 很大,造成训练不稳定。A3C 将梯度改成 ∇\nabla∇\nabla A(s,a) logπ(a|s),A(s,a) 是在线 episode 计算出的一对 s,a 的 Value 值与当前 V 网络估计值之差,并经过 normalization 操作,简单理解就是把 log 前的部分做了一个居中 + 归一化,variance 降低,训练稳定性显著提升,这里的 A(s,a) 称为 a 在 s 下的 advantage,是 A3C 名字里的第二个’A’。既然 policy 输出的是 action 概率分布,那么探索就很容易实现——按照这个分布采样即可,训练初期分布 variance 比较大,探索力度强,随着 policy 不断改善,分布 variance 越来越小,代表 policy 对所选 action 越来越自信,这就实现了对经验的利用。

A3C 能够充分利用多核资源,在不同 CPU 上并行运行不同的环境种子,显著提升了训练稳定性、收敛速度以及最终性能。A3C 支持多种 action 概率分布,如果 action 空间是 DQN 那样的离散集合,可以用 Categorical 分布;如果是像 DDPG 那样的多维连续分布,可以用 Multivariate Gaussian 分布,此外 A3C 还支持伯努利分布,如果 action 的每一维都是非此即彼的二值选项,或者 one-hot 向量太长想改用二进制表示,那就是它了。可见,A3C 在通用性上是显著优于 DQN 和 DDPG 的,几乎所有任务都能拿 A3C 跑一跑。此外,A3C 作为 on-policy 方法,每次更新 policy 的梯度都由当前 policy 采集的样本计算,这使得 A3C 在 MARL 任务里对环境不稳定性的抵抗能力比 DQN 和 DDPG 更强。

A3C 将多核环境中计算的梯度进行异步(Asynchronous)聚合,然后统一更新主网络并将新参数分发到各环境。这种方式的运行效率较高,但计算的梯度可能与当前主网络参数在时间上 “错位”,有可能损害算法性能。因此,学术界更多地沿用了 A3C 的同步梯度聚合版本 A2C。PPO 就是在 A2C 的基础上利用 clip 操作进一步限制了每次梯度更新的幅度,从而显著提升了训练稳定性。和很多 paper 的实验结果一致,我在实际应用中发现 PPO 在连续控制任务里性能显著优于 DDPG,对超参数的敏感度也比 DDPG 低,因此训练起来更加得心应手。因此,我推荐大家在解决连续任务时首选 PPO,DDPG 的优先级往后放就是了。对于具有离散动作空间的任务也值得用 A3C 跑一下,跟 DQN 比一比。

2021 年 2 月 15 日更新:考虑到这篇文章写作时间较早,这里统一更新算法选择方面的建议:对于连续控制任务,推荐 SAC、TD3 和 PPO,三种算法都值得试一试并从中择优;对于离散控制任务,推荐 SAC-Discrete(即离散版 SAC)和 PPO。至于 TD3 和 SAC 的详细介绍,网上资料很多,暂时就不写了,有机会再说。

5. 其他算法


以上三个 DRL 框架是基础,大多数情况下都至少能得到一个 “能用” 的 policy。然而,也不应奢望它们能解决一切问题。DRL 领域是个大坑,里边有太多需要解决的问题和值得挖掘的方向,比如:高难度探索,稀疏 reward,数据效率,训练稳定性,快速适应新环境等等,类似 MARL 这样的子领域还有自己特有的问题,如环境不稳定性,scalability 等等。算法工作者一定要保持开放的态度,及时跟踪学术界的新趋势新方法。

每当算法性能遇到瓶颈,首先要沉下心来分析关键制约因素在哪里,如果是上述这些普遍意义上的问题造成,那就去相关方向最新 paper 中寻找灵感。比如探索不够充分时,可以用 count-based exploration 或者 parameter noise 来加强探索;DQN 训练不稳定时,可以尝试 Double-DQN,或者孪生网络,每次选择较小 Q 值计算目标值,从而抑制 overestimation;DQN 或 DDPG 数据效率不够时,可以用 prioritized replay buffer;MARL 里为了改善环境不稳定问题,可以尝试 DIMAPG,……。问题无常势,算法无常形,群众智慧是无穷的,博采众长才能攻无不克。

关于算法选择就先写到这里,不同算法在训练时还有各种各样的 trick 和注意事项,我在训练篇里再详细介绍。

【深度强化学习】(6) PPO 模型解析,附Pytorch完整代码 近端策略优化算法PPO(proximal policy optimization),具备 Policy Gradient、TRPO 的部分优点,采样数据和使用随机梯度上升方法优化代替目标函数之间交替进行,但 PPO 提出新目标函数,可以实现小批量更新。PPO 算法可依据 Actor 网络的更新方式细化为含有自适应 KL-散度(KL Penalty)的 PPO-Penalty 和含有 Clippped Surrogate Objective 函数的 PPO-Clip。 阅读详情

相关推荐

深度强化学习落地方法论(3)——算法选择篇

目录前言强化学习——探索和利用的平衡游戏DQNDDPGA3C其他算法 前言 虽然每年RL方向的paper满天飞,但真正具有普遍实用价值的突破性工作实在不多,大多数还是在经典框架基础上的改进和扩展。DRL常规武器库里的存货主要还是老三样:DQN,DDPG和A3C,它们是深度学习时代最成熟、最能体现智慧结晶的三个DRL框架,你可以在GitHub上找到无数相关代码,有OpenAI,NVIDIA这些大公司...

wyjjyn的博客 3394

深度强化学习入门:从PPO、DQN到A3C的算法对比与实践指南

这次我们来看一个面向新手的深度强化学习入门教程。这个教程的核心目标不是让你立刻成为算法专家,而是帮你快速理解强化学习到底在解决什么问题,以及那些听起来高大上的算法(比如PPO、DQN、A3C)在实际中是如何运作的。对于想入门AI决策领域,或者想在游戏AI、机器人控制、自动化交易等场景应用强化学习的开发者来说,一个清晰、可实践的入门路径至关重要。 本文会带你系统梳理深度强化学习的核心脉络。我们将从最基础的“智能体-环境”交互模型讲起,逐步深入到价值函数、策略梯度等核心概念,并重点拆解PPO、DQN、A3C这几

weixin_30274627的博客 319

深度强化学习入门:从PPO、DQN到A3C,经典算法串讲与实战指南

这次我们来看一个面向新手的深度强化学习入门教程。这个教程一口气涵盖了PPO、DQN、A3C、Q-Learning、SARSA等核心经典算法,目标是把看似复杂的强化学习(RL)讲得清晰、可落地。对于想入门AI决策与控制领域,但又觉得理论晦涩、代码难懂的开发者来说,这是一个系统性的切入点。 教程的核心价值在于“串讲”和“对比”。它不会孤立地讲解某个算法,而是试图构建一个知识图谱,让你理解从传统表格型方法(如Q-Learning)到深度强化学习(如DQN、PPO)的演进逻辑,以及不同算法(如On-policy的S

weixin_34384681的博客 391

深度强化学习算法实战:从Q-Learning到PPO的工程落地指南

想入门深度强化学习,却总被DQN、PPO、A3C这些算法名字绕晕?好不容易跑通一个“CartPole”平衡杆demo,却不知道下一步该怎么用在真实项目里,更别提在SAC、TD3、DDPG这些更复杂的算法中做选择了。如果你有这些困惑,那么这篇文章就是为你准备的。 网上很多教程要么过于理论,堆砌公式让人望而却步;要么过于零散,只讲单个算法,缺乏横向对比和工程落地视角。这导致很多开发者虽然知道强化学习很火,却始终徘徊在门口,无法将其转化为解决实际问题的能力。 本文将彻底改变这一现状。我们不空谈概念,而是直接切入核

weixin_42524499的博客 303

深度强化学习入门:从Q-Learning到PPO的算法选择与实战指南

这次我们来看一个面向新手的深度强化学习入门教程。这个教程的核心目标不是堆砌复杂的数学公式,而是帮你快速理解强化学习到底能做什么、怎么用代码跑起来,以及如何在实际项目中选对算法。无论你是想入门强化学习的学生,还是希望在机器人控制、游戏AI、自动化决策等领域应用相关技术的开发者,这篇文章都将提供一个清晰的、可落地的学习路径。 教程内容涵盖了从经典Q-Learning到前沿PPO、DQN、A3C等核心算法。重点不在于理论推导的深度,而在于 算法思想的理解、代码实现的可行性以及不同场景下的选择逻辑 。我们会先梳理强

weixin_29061509的博客 273

强化学习入门:从higgsfield的RL-Adventure读懂DQN到PPO的PyTorch实现

强化学习是机器学习中连接决策与反馈的核心范式,其算法从Q-learning到策略梯度,再到近端策略优化(PPO),每一步演进都对应着稳定性与效率的权衡。理论公式固然清晰,但真正落地为可运行的PyTorch代码时,初学者常面临“公式看得懂、代码写不出”的断层。GitHub上知名的higgsfield/RL-Adventure项目,以单文件、高可读的方式逐一实现了DQN、Double DQN、Dueling DQN、Actor-Critic、A2C、PPO、DDPG、TD3等主流算法,覆盖离散与连续动作空间。这

weixin_29047545的博客 254

深度强化学习模块化框架:基于PyTorch的DQN、DDPG、PPO算法实现与工程实践

深度强化学习(DRL)是机器学习的重要分支,其核心原理是智能体通过与环境的交互试错,学习最大化累积奖励的策略。其技术价值在于能够解决传统方法难以处理的复杂序列决策问题,广泛应用于机器人控制、游戏AI、自动驾驶和资源优化等场景。在工程实践中,模块化设计是提升开发效率、保证代码可复现性的关键。通过将环境交互、智能体、经验回放池等核心组件标准化,可以快速搭建和对比DQN、DDPG、PPO等主流算法。本文分享的模块化框架,正是基于PyTorch构建,旨在解决代码风格不统一和重复造轮子的痛点,为初学者和研究者提供一套

weixin_34080571的博客 431

DDPG、PG、TD3深度强化学习实操对比指南

深度强化学习中的策略梯度方法是连续控制任务的核心技术路径,其原理围绕策略更新、值函数估计与目标网络稳定性展开。PG提供理论起点但方差高,DDPG引入确定性策略与经验回放提升效率却易发散,TD3通过双Q网络、延迟策略更新和目标平滑显著增强鲁棒性。这些方法在机器人控制、暖通调控、产线调度等工业场景中具备明确技术价值,尤其适用于需长期稳定运行的闭环控制系统。本文聚焦PG、DDPG、TD3三者的可复现对比实践,覆盖环境适配、参数工程、调试技巧与工业迁移,突出TD3的稳定性优势与DDPG的调参敏感性。

weixin_34021089的博客 713

强化学习算法代码实战:DQN、PPO、SAC、TD3完整实现与调参指南

强化学习作为机器学习的重要分支,通过智能体与环境交互学习最优策略,在游戏、机器人控制、自动驾驶等领域展现出强大潜力。算法实现中,从基础的Q-learning到现代深度RL,DQN利用经验回放与目标网络稳定训练,PPO通过裁剪目标函数实现稳健的策略更新,SAC和TD3则在连续控制中平衡探索与利用,分别以最大熵和双Q延迟更新提升性能。这些核心算法共同构成了RL工程落地的基石。本文以PyTorch为工具,系统地梳理DQN、PPO、SAC、TD3的代码实现细节,涵盖GAE优势估计、经验回放、双Q网络等关键机制,并提

weixin_31100517的博客 331

深度强化学习连续控制:DDPG、PG与TD3算法原理与实战对比

深度强化学习(DRL)是机器学习的重要分支,它通过智能体与环境的交互试错来学习最优决策策略。其核心原理在于利用神经网络近似价值函数或策略函数,以解决高维状态和动作空间下的序列决策问题。在机器人控制、自动驾驶等工程实践领域,DRL的技术价值尤为突出,能够处理传统方法难以建模的复杂动态系统。当应用于连续动作空间控制场景时,如机械臂抓取或双足机器人行走,智能体的输出是连续值而非离散选项,这对算法提出了更高要求。本文聚焦于解决此类问题的三大主流算法:直接优化策略的策略梯度方法、借鉴DQN思想的深度确定性策略梯度,以

weixin_32181267的博客 280

深度强化学习实战:从代码包到DQN、PPO算法落地与避坑指南

强化学习通过智能体与环境交互学习最优策略,其核心是马尔可夫决策过程与贝尔曼方程。深度强化学习结合神经网络,利用PyTorch和Gym等工具实现DQN、PPO等算法,解决高维状态空间下的决策问题。在机器人控制、交通信号优化等场景中,策略梯度与经验回放技术能有效提升训练稳定性。本文基于一份深度强化学习代码包,详解环境搭建、算法实现与常见陷阱,帮助工程师快速复现并迁移到自定义环境。

weixin_29063681的博客 241

Pong上的深度强化学习:DQN、PPO与DDPG实战对比与避坑

深度强化学习是人工智能领域的热门方向,其核心在于智能体通过与环境的交互学习最优策略。价值函数与策略梯度是两大基础方法,分别以DQN和PPO为代表,而DDPG则展示了连续动作空间的控制思想。在工程实践中,如何快速验证算法实现是否正确、调参是否合理,往往比追求理论创新更为迫切。经典的Atari游戏Pong因其动作空间小、奖励稀疏且包含时序决策特性,成为公认的算法验证平台。本文以Pong为统一环境,系统讲解环境搭建、状态建模、DQN、PPO与DDPG三种算法的设计取舍,以及训练中的高频避坑策略,最后给出基于固定种

weixin_31499265的博客 85

深度强化学习实战:Pong环境下的DQN、A2C与PPO算法对比与调参

深度强化学习通过智能体与环境的交互学习最优策略,其核心在于平衡探索与利用。在Atari Pong这类经典基准环境中,状态预处理、网络结构和超参数配置直接影响算法性能。值函数方法如DQN利用经验回放和目标网络稳定训练,而策略梯度方法如A2C和PPO则通过优势估计和裁剪机制优化策略。合理调参后,这些算法能在Pong上达到接近人类水平,广泛应用于游戏AI、机器人控制等领域。本文详细对比了DQN、Double DQN、Dueling DQN、A2C和PPO在Pong上的实现差异与调参技巧,帮助读者构建可复现的训练管

weixin_33525298的博客 26

ROS+深度强化学习导航避障源码:DQN/DDPG/PPO/SAC实战

移动机器人导航避障中,传统依赖ROS move_base与代价地图的规划方法在动态场景下常因参数敏感而失效。深度强化学习通过智能体与环境的交互自主习得避障策略,无需精确环境模型,即可端到端输出速度指令,为导航决策提供了数据驱动的新思路。DQN适用于离散动作集,DDPG与SAC擅长连续控制,PPO则以稳定见长,其中SAC凭借熵正则机制在动态障碍场景下表现出更优的样本效率与收敛性。该类技术已被广泛应用于服务机器人、无人车及智能仓储AGV,也逐渐成为机器人课程设计与算法对比的高频选题。本文围绕一套基于ROS和Ga

weixin_34274029的博客 218

强化学习算法:此存储库包含大多数基于pytorch实现的经典深度强化学习算法,包括-DQN,DDQN,Dualling Network,DDPG,SAC,A2C,PPO,TRPO。 (更多算法仍在进行中)

深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码,以供他们学习深度强化学习算法。 将来,将添加更多算法,并且还将保留现有代码。 当前实施 深度Q学习网络(DQN) 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度(DDPG) 优势演员评判(A2C) 信任区域策略梯度(TRPO) 近端政策优化(PPO) 使用克罗内克因素信任区域(ACKTR)的演员评论家 软演员评论(SAC) 更新信息 :triangular_flag: 2018年10月17日-在此更新中,大多数算法已得到改进,并添加了更多关于图的实验(DPPG除外)。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定,可以得到更好的结果! :triangular_flag: 2019-07-15-在此更新中,不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现,并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201

强化学习算法合集(DQN、DDPG、SAC、TD3、MADDPG、QMIX等等)

强化学习算法合集(DQN、DDPG、SAC、TD3、MADDPG、QMIX等等)内涵20+强化学习经典算法代码。对应使用教程什么的参考博客: 多智能体(前沿算法+原理) https://blog.csdn.net/sinat_39620217/article/details/115299073?spm=1001.2014.3001.5502 强化学习基础篇(单智能体算法) https://blog.csdn.net/sinat_39620217/category_10940146.html

瑞芯微RK3506开发板Ethercat主站性能优化实战:从内核配置到微秒级延迟控制

本文详细介绍了在瑞芯微RK3506开发板上实现EtherCAT主站微秒级延迟控制的实战优化方案。核心在于部署Preempt-RT实时内核,并进行深度系统调优,包括CPU隔离、中断亲和性设置、内存锁定及电源管理调整。通过绕过Linux网络栈的专用驱动加载与配置,最终实现了稳定的高性能实时控制,满足工业自动化需求。

tcp8optimizer的博客 319

通信原理期末考试试题及答案

五、(总分12分)设某信道具有均匀的的双边噪声功率谱密度在该信道中传输抑制载波的单边带(上边带)信号,并设调制信号m(t)的频带限制在5K HZ,而载波为100 K HZ,已调信号的功率为10KW。:(1)单边带信号的载频为100kHz,带宽B=5kHz,为使信号顺利通过,理想带通滤波器的中心频率为。8、对最高频率为fH的调制信号m(t)分别进行AM、DSB、SSB调制,相应已调信号的带宽分别为。7、设调制信号为f(t)载波为,则抑制载波双边带调幅信号的时域表达式为,频域表达式为。

qq_67692062的博客 2399

Hopf振荡器在机器人步态控制里到底怎么用?一个CPG仿生案例说清楚

本文深入解析了Hopf振荡器在机器人步态控制中的实际应用,通过CPG仿生案例详细展示了从数学方程到关节指令的完整流程。重点探讨了Hopf振荡器的极限环稳定性、参数调节技巧及自适应控制策略,为机器人运动控制提供了高效解决方案。

weixin_29284657的博客 204

Ubuntu 24.04 部署 EMQX 5.8 开源版MQTT服务器:从零搭建到实战应用

本文详细指导如何在Ubuntu 24.04系统上部署EMQX 5.8开源版MQTT服务器。内容涵盖从环境准备、安装Erlang、下载安装包到启动服务的完整步骤,并提供了验证服务、配置网络防火墙以及通过WebSocket工具进行基础消息收发的实战方法,帮助用户快速搭建稳定、免费的物联网消息中间件。

weixin_29209825的博客 296

ZYNQ Linux环境下PS端I2C驱动OV5640摄像头全流程解析

本文详细解析了在ZYNQ Linux环境下,通过PS端I2C驱动OV5640摄像头的完整流程。内容涵盖从Vivado硬件配置、PetaLinux系统构建、设备树节点添加,到用户空间I2C编程与寄存器配置实战,并提供了关键的调试技巧与常见问题排查方法,帮助开发者快速实现嵌入式视觉应用的传感器配置。

vulkan6gpu的博客 857

Cadence Virtuoso实战:3分钟搞定反相器参数化设计(附CDF配置避坑指南)

本文详细介绍了如何在Cadence Virtuoso中利用CDF参数传递功能实现反相器的参数化设计,包括PMOS和NMOS的基础搭建、CDF配置技巧及常见报错解决方案。通过实战案例和避坑指南,帮助工程师快速掌握高效设计方法,提升集成电路设计效率。

weixin_28292761的博客 343

软件破解逆向安全(一)初识内存地址和偏移

工具:CE 内存:数字->存访在电脑中->内存 实例:如何修改植物大战僵尸阳光 内存搜索最核心:过滤数据 先用CE加载植物大战僵尸,如下图 我们可以看到目前我们的阳光数是50,我们尝试在ce里搜索精确数值,4 byte是int整数的表示。 我们发现有很多数据,尝试收集一个阳光变成75再次搜索: 我们发现就一个了,这时我们可以双击Value随便修改阳光的数值了。 这里我们说一下动态和静态地址 动态地址:临时用于存放数据的地址,黑色。特征:重新启动游戏地..

weixin_43781139的博客 2599

Quuppa 如何引领蓝牙 ® 定位服务的全新发展方向

我们最优质的客户,是那些对其他实时定位系统(RTLS)的承诺感到失望、转而寻求 “能覆盖全业务场景的更广泛赋能技术” 的客户 —— 前文提到的消防车制造商就是典型案例:他们尝试并通过 Quuppa 的蓝牙方案取得了成功。我们希望业务合作伙伴(如系统集成商、解决方案提供商)能充分利用 Quuppa 智能定位系统的功能,为客户提供专属解决方案:无论是追踪微型标签、实现未来移动设备的 AoD 功能,还是基于 RSSI 的简单信标(信标作为物联网网关),这些功能都能让同一套 Quuppa 系统支持广泛的用例。

专业开发者的博客,一个从事Android WiFi和蓝牙的工程师 834

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 深度强化学习落地方法论训练篇:PPO、DQN、DDPG、学习率、折扣因子等
下一篇: 强化学习调参经验大集成:TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数
汀、人工智能
汀、人工智能 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄9年 10万+粉丝 1127原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址