深度强化学习算法PPO训练Pendulum

强化学习_06_pytorch-PPO实践(Pendulum-v1) TRPO(Trust Range Policy Optimate)算法每一步更新都需要大量的运算,于是便有其改进版本PPO在2017年被提出。PPO 基于 TRPO 的思想,但是其算法实现更加简单。TRPO 使用泰勒展开近似、共轭梯度、线性搜索等方法直接求解。PPO 的优化目标与 TRPO 相同,但 PPO 用了一些相对简单的方法来求解。具体来说, PPO 有两种形式,一是PPO-惩罚,二是PPO-截断,我们接下来对这两种形式进行介绍。 阅读详情

PPO代码部分,训练连续动作

1.  导入必须要的包

import torch
import torch.nn as nn
import torch.nn.functional as f
import torch.optim as optim
from torch.distributions import Normal
from collections import deque
import matplotlib.pyplot as plt
import numpy as np
import gym
import copy

2.  定义actor网络和critic网络

class actor_net(nn.Module):

    def __init__(self, state_n, action_n, hidden_n):
        super(actor_net, self).__init__()
        self.fc1 = nn.Linear(state_n, hidden_n)
        self.fc2 = nn.Linear(hidden_n, hidden_n)

        self.mu = nn.Linear(hidden_n, action_n)
        self.sigma = nn.Linear(hidden_n, action_n)

    def forward(self, x):
        x = f.relu(self.fc1(x))
        x = f.relu(self.fc2(x))
        mu = torch.tanh(self.mu(x)) * 2
        sigma = f.softmax(self.sigma(x), dim = 1) + 0.001
        return mu, sigma


class critic_net(nn.Module):

    def __init__(self, state_n, hidden_n):
        super(critic_net, self).__init__()
        self.fc1 = nn.Linear(state_n, hidden_n)
        self.fc2 = nn.Linear(hidden_n, hidden_n)
        self.fc3 = nn.Linear(hidden_n, 1)

    def forward(self, x):
        x = f.relu(self.fc1(x))
        x = f.relu(self.fc2(x))
        value = self.fc3(x)
        return value

3.  定义存储数据的buffer,包括buffer添加数据,采样数据,清空数据

class buffer(object):
    def __init__(self, length):
        self.buffer_length = length
        self.buffer = deque(maxlen = self.buffer_length)
    def push(self, trans):
        self.buffer.append(trans)
    def sample(self):
        batch = list(self.buffer)
        return zip(*batch)
    def clear(self):
        self.buffer.clear()
    def length(self):
        return len(self.buffer)

4.  定义config


        
强化学习_PPO算法实现Pendulum-v1 也就是说,我们产生数据的策略,和要更新的目标策略不是同一个策略。也可以是我们先假定策略分布函数服从一个特殊的分布,比如正太分布,我们的神经网络可以直接输出 mu 和sigma, 就能获得整个策略的概率密度函数了。答案是不行,但大家可以从如上图看到,如果用行动策略 B[0.1,0.9]产出的数据,对目标策略P进行更新,动作1会被更新 1次,而动作2会更新9次。PPO 应用了 importance sampling,使得我们用行为策略获取的数据,能够更新目标策略,把 AC 从在线策略,变成离线策略。 阅读详情

相关推荐

1. 倒立摆: Pendulum-v1

是一个经典的强化学习环境,属于 OpenAI Gym 库的一部分。这个环境模拟了一个倒立摆的问题,目标是通过施加适当的扭矩使摆杆保持在竖直向上的位置。:控制摆杆使其保持在竖直向上的位置(即角度为 0 弧度)。theta[-π, π]theta_dot[-8, 8]cos(theta)sin(theta)[-2, 2]r−θ20.1⋅θdot2​0.001⋅torque2θθdot​torque最小的奖励是,当摆杆处于竖直向下位置(θπ),角速度最大(θdot​8。

其木王·王子的博客 1725

智能体在车联网中的应用:第28天 深度强化学习实战:从原理到实现——掌握近端策略优化(PPO)算法

PPO算法是强化学习领域的重要突破,通过近端策略优化解决了传统策略梯度方法的稳定性问题。本文深入解析了PPO的核心原理,包括其裁剪机制和GAE优势估计方法,并展示了在Pendulum-v1环境中的完整实现。PPO在理论严谨性与实现简洁性之间取得了平衡,成为强化学习研究和应用的标杆算法。

IT深耕十余载,大道之简 1145

从代码学习深度强化学习 - PPO PyTorch版

欢迎来到深度强化学习(DRL)的世界!在众多 DRL 算法中,Proximal Policy Optimization (PPO) 无疑是最受欢迎和广泛应用的算法之一。它由 OpenAI 在 2017 年提出,以其出色的性能、相对简单的实现和稳定的训练过程而著称,成为了许多研究和应用的基准算法。本篇博客旨在通过一个完整的 PyTorch 实现,带您从代码层面深入理解 PPO 算法。我们将不仅仅是看公式,更是要“动手”,一步步构建、训练和分析 PPO 智能体。为了全面掌握其应用,我们将分别在经典的。

weixin_43887510的博客 904

深度强化学习实战指南:从PPO、DQN算法到就业级项目全解析

深度强化学习,一个听起来就让人既兴奋又有点发怵的领域。兴奋在于它让AI学会了打游戏、下围棋、控制机器人,甚至能优化复杂的工业流程;发怵则是因为其背后复杂的数学理论和算法实现,常常让初学者望而却步。今天要聊的,不是某个具体的开源工具或模型,而是一套号称“2026最新版”、长达100集的深度强化学习(Deep Reinforcement Learning, DRL)全套课程。这套课程的目标很明确:从零开始,系统性地讲透PPO、DQN、A3C、Q-Learning等核心算法,并承诺“学完即可就业”。 对于想进入A

weixin_34343308的博客 425

Python之rl-algs包语法、参数和实际应用案例

rl-algs 是轻量级、纯Python实现的强化学习算法库,专注于经典强化学习(RL)算法的快速实现、测试与教学,无复杂依赖,适合入门学习、小型实验、算法验证和教学演示。

王国平的博客 250

深度强化学习实战:PPO、DQN、SAC等五大算法在gym+PyTorch中的实现与对比

深度强化学习是智能体通过与环境持续交互来优化决策策略的机器学习范式。在工程实践中,离散动作空间与连续动作空间分别对应不同的算法设计思路:DQN系列通过经验回放和目标网络稳定Q值估计,适合处理CartPole等离散任务;PPO利用重要性采样和裁剪机制实现稳定的策略更新;SAC、DDPG与TD3则面向Pendulum这类连续控制场景,在探索与利用、目标平滑等方面各有取舍。结合gym环境与PyTorch框架,开发者可以系统对比不同算法的网络结构、损失计算与归一化技巧,理解它们在不同任务上的收敛速度与稳定性差异。本

weixin_42523711的博客 206

PowerBI参数化实战:3分钟搞定动态数据源切换(附常见错误排查)

本文详细介绍了PowerBI参数化实战技巧,教你3分钟实现动态数据源切换。通过创建参数、改造查询和测试切换三步,轻松应对多环境部署与团队协作中的路径问题,并附上常见错误排查指南,有效提升报表的可维护性和工作效率。

p1q2r的博客 593

Spring Cloud 整合(一) CRUD

Springcloud 整合之 CRUDSpringcloud介绍功能概述为什么要选用Springcloud Springcloud介绍 功能概述 实现微服务 Spring Cloud为开发人员提供了工具,以快速构建分布式系统中的某些常见模式(例如,配置管理,服务发现,断路器,智能路由,微代理,控制总线,一次性令牌,全局锁,领导选举,分布式会话,群集状态)。分布式系统的协调导致样板式样,并且使用Spring Cloud开发人员可以快速站起来实现这些样板的服务和应用程序。 为什么要选用Springcloud

Kerwin-Lin的博客 1502

Vivado IP核与License许可全解析:从免费到收费,从评估到部署

本文全面解析Vivado IP核与License许可机制,从免费到收费IP核的选型指南到License的申请与部署策略。详细介绍了Xilinx官方IP核的优势与局限,第三方IP核的风险与应对,以及实战中的资源优化技巧和版本兼容性问题,帮助开发者高效利用Vivado工具链。

weixin_29169505的博客 369

从零构建:如何在VSCode中为HBuilderX迁移的UniApp项目搭建TypeScript支持环境

本文详细指导如何将HBuilderX中的UniApp项目迁移至VSCode并搭建TypeScript支持环境。通过pnpm包管理器初始化项目、配置tsconfig.json和vite.config.ts文件,实现工程化迁移与TypeScript深度集成,提升开发效率和代码质量。

book8的博客 1054

DeepSeek Harness 本地部署与 AI 智能体开发全攻略

大语言模型(LLM)作为当前人工智能领域的核心技术,通过深度学习架构实现了对自然语言的深度理解与生成能力。其技术原理基于Transformer架构,通过海量文本数据训练,使模型能够捕捉语言的内在规律和语义关联。在工程实践中,LLM的价值在于能够作为智能体(Agent)的核心大脑,驱动各类应用实现自然语言交互、任务自动化和知识推理。常见的应用场景包括智能客服、代码生成、内容创作和数据分析等。本文聚焦于DeepSeek Harness这一开源AI应用开发框架,详细讲解如何从零开始部署这一智能体开发平台,并配置D

weixin_42527464的博客 383

构建基于知识图谱的金融风险关联网络可视化系统

知识图谱是一种用于表示实体及其关系的图形结构,能够将分散的数据组织成易于理解和查询的形式。语义性:通过实体和关系的描述,赋予数据语义。结构化:以图的形式组织数据,便于计算机处理。动态性:支持实时更新,能够反映数据的最新状态。风险关联网络是指将金融风险事件、实体及其关系以图形形式表示的网络。关联性:能够展示风险事件之间的相互影响。动态性:能够实时反映风险变化。可视化:便于金融从业者直观理解风险分布。可视化系统是指通过图形界面展示数据或信息的系统。提供直观的数据显示。帮助用户快速理解复杂数据。

AI天才研究院 1065

AVDepthData、LiDAR 深度数据与人像模式全解析:iOS 真实景深图采集与处理实战

在 iOS 高端影像系统中,真实景深信息的采集与利用已成为区分旗舰设备与基础设备的重要能力。Apple 自 iPhone 7 Plus 引入双摄虚化以来,逐步发展出基于 AVDepthData、TrueDepth 与 LiDAR 的多维深度感知技术,并开放接口供开发者获取高精度深度图,构建背景虚化、人像分割、3D 重建等多种功能。本文将深入解析 AVDepthData 的结构与使用方式,系统讲解 LiDAR 采集架构、人像模式的景深融合逻辑,以及如何在实际项目中采集、预览并处理深度图数据,实现具备工程可用性

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1865

SpringBoot 插件化开发详细总结

SpringBoot 插件化开发方案总结

congge 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上一篇: 深度强化学习算法PPO训练CartPole
下一篇: Python与Matlab/Simulink交互(一)
槑槑紫
博客等级 码龄8年 168粉丝 62原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址