从代码学习深度强化学习 - 目标导向的强化学习-HER算法 PyTorch版

HER(Hindsight Experience Replay) 伪代码理解 HER 算法的核心思想是,即使在没有达到原始目标的情况下,也可以从失败的经历中学习到如何实现其他可能的目标。通过将当前经历与不同目标关联起来,算法可以更有效地利用回放缓冲区中的数据,从而提高学习效率。HER 是一种用于目标条件强化学习的算法,它通过重用失败的经验来解决稀疏奖励问题。 阅读详情


1. 前言:当一个任务有多个目标

经典的深度强化学习算法,如 PPO、SAC 等,在各自擅长的任务中都取得了非常好的效果。但它们通常都局限在解决单个任务上,换句话说,训练好的算法,在运行时也只能完成一个特定的任务。

想象一个场景:我们想让一个机械臂能把桌子上的任何一个物体重置到任意一个指定位置。对于传统强化学习而言,如果目标物体的初始位置和目标位置每次都变化,那么这就是一个全新的任务。即便任务的“格式”——抓取并移动——是一样的,但策略本身可能需要重新训练。这显然效率极低。

为了解决这类问题,目标导向的强化学习 (Goal-Oriented Reinforcement Learning, GoRL) 应运而生。它的核心思想是学习一个通用策略,这个策略能够根据给定的目标 (goal) 来执行相应的动作,从而用一个模型解决一系列结构相同但目标不同的复杂任务。

然而,在诸如机械臂抓取等真实场景中,奖励往往是稀疏的。只有当机械臂成功将物体放到指定位置时,才会获得正奖励,否则奖励一直为0或-1。在训练初期,智能体很难通过随机探索完成任务并获得奖励,导致学习效率极低。

为了解决稀疏奖励下的学习难题,OpenAI 在2017年提出了事后经验回放 (Hindsight Experience Replay, HER) 算法。HER 的思想极为巧妙:即使我们没有完成预设的目标,但我们总归是完成了“某个”目标。 通过这种“事后诸葛亮”的方式,将失败的经验转化为成功的学习样本,从而极大地提升了在稀疏奖励环境下的学习效率。

本文将从 HER 的基本概念出发,结合一个完整的 PyTorch 代码实例,带你深入理解 HER 是如何与 DDPG 等经典算法结合,并有效解决目标导向的强化学习问题的。

完整代码:下载链接

2. 目标导向的强化学习 (GoRL) 简介

在目标导向的强化学习中,传统的马尔可夫决策过程 (MDP) 被扩展了。除了状态 S、动作 A、转移概率 P 之外,还引入了目标空间 G。策略 π 不仅依赖于当前状态 s,还依赖于目标 g,即 π(a|s, g)。

奖励函数 r 也与目标相关,记为 r_g。在本文的设定中,状态 s 包含了智能体自身的信息(例如坐标),而目标 g 则是状态空间中的一个特定子集(例如一个目标坐标)。我们使用一个映射函数 φ 将状态 s 映射到其对应的目标 g。

在 GoRL 中,一个常见的挑战是稀疏奖励。例如,只有当智能体达到的状态 s' 对应的目标 φ(s') 与我们期望的目标 g 足够接近时,才给予奖励。这可以用以下公式表示:

其中,δ_g 是一个很小的阈值。这意味着,在绝大多数情况下,智能体得到的奖励都是-1,学习信号非常微弱。

3. HER算法:化失败为成功的智慧

HER 的核心思想在于重新利用失败的轨迹。

假设智能体在一次任务(一个 episode)中,目标是 g,但最终没有达到,整个轨迹获得的奖励都是-1。这条“失败”的轨迹对于学习如何达到目标 g 几乎没有帮助。

但 HER 会这样想:虽然智能体没有达到目标 g,但它在轨迹的最后达到了某个状态 s_T。这个状态 s_T 自身就可以被看作是一个目标,我们称之为“事后目标” g' = φ(s_T)。如果我们把这次任务的目标“篡改”为 g',那么这条轨迹就变成了一条成功的轨迹!因为智能体确实达到了 g'。

通过这种方式,HER 能够从任何轨迹中都提取出有价值的学习信号,将稀疏的奖励变得稠密。

在具体实现时,HER 会从一条完整的轨迹中,随机采样一个时间步 (s_t, a_t, r_t, s_{t+1}),然后根据一定策略选择一个新的目标 g' 来替换原始目标 g,并根据新目标重新计算奖励 r'。

HER 提出了几种选择新目标 g' 的策略,其中最常用也最直观的是 future 策略:在当前时间步 t 之后,从该轨迹中随机选择一个未来状态 s_k (k > t),将其对应的 φ(s_k) 作为新的目标 g'。

这种方法保证了新目标是在当前状态之后可以达到的,使得学习过程更加稳定和有效。

HER 作为一个通用的技巧,可以与任何 off-policy 的强化学习算法(如 DQN, DDPG, SAC)结合。在本文的实践中,我们将它与 DDPG 算法相结合。

4. 代码实践:用PyTorch实现HER+DDPG

接下来,我们通过一个完整的 PyTorch 代码项目来学习 HER 的实现。任务非常直观:在一个二维平面上,智能体需要从原点 (0, 0) 移动到一个随机生成的目标点。

4.1 自定义环境 (WorldEnv)

首先,我们定义一个简单的二维世界环境。

  • 状态空间: 4维向量 [agent_x, agent_y, goal_x, goal_y]。
  • 动作空间: 2维向量 [move_x, move_y],每个分量的范围是 [-1, 1]。
  • 目标: 在每个 episode 开始时,在 [3.5, 4.5] x [3.5, 4.5] 区域内随机生成一个目标点。
  • 奖励: 如果智能体与目标的距离小于阈值 0.15,奖励为 0;否则为 -1。
  • 终止条件: 达到目标,或达到最大步数 50。
# 自定义环境
import numpy as np
import random
from typing import Tuple


class WorldEnv:
    """
    二维世界环境类,用于目标导向的强化学习任务
    智能体需要从起始位置移动到随机生成的目标位置
    """
    
    def __init__(self) -> None:
        """
        初始化环境参数
        """
        # 距离阈值,当智能体与目标的距离小于等于此值时认为任务完成 (标量)
        self.distance_threshold: float = 0.15
        
        # 动作边界,限制每个动作分量的取值范围为[-1, 1] (标量)
        self.action_bound: float = 1.0
        
        # 地图边界,智能体活动范围为[0, 5] x [0, 5] (标量)
        self.map_bound: float = 5.0
        
        # 最大步数,防止无限循环 (标量)
        self.max_steps: int = 50
        
        # 当前状态,智能体在二维平面上的坐标 (2维向量)
        self.state: np.ndarray = None
        
        # 目标位置,智能体需要到达的目标坐标 (2维向量)
        self.goal: np.ndarray = None
        
        # 当前步数计数器 (标量)
        self.count: int = 0

    def reset(self) -> np.ndarray:
        """
        重置环境到初始状态
        
        Returns:
            np.ndarray: 包含当前状态和目标位置的观测向量 (4维向量: [state_x, state_y, goal_x, goal_y])
        """
        # 在目标区域[3.5, 4.5] x [3.5, 4.5]内随机生成目标位置 (2维向量)
        goal_x = 4.0 + random.uniform(-0.5, 0.5)
        goal_y = 4.0 + random.uniform(-0.5, 0.5)
        self.goal = np.array([goal_x, goal_y])
        
        # 设置智能体初始位置为原点 (2维向量)
        self.state = np.array([0.0, 0.0])
        
        # 重置步数计数器 (标量)
        self.count = 0
        
        # 返回包含状态和目标的观测向量 (4维向量)
        return np.hstack((self.state, self.goal))

    def step(self, action: np.ndarray) -> Tuple[np.ndarray, float, bool]:
        """
        执行一个动作并返回下一个状态、奖励和是否结束
        
        Args:
            action (np.ndarray): 智能体的动作,包含x和y方向的移动量 (2维向量)
        
        Returns:
            Tuple[np.ndarray, float, bool]: 
                - 下一个观测状态 (4维向量: [state_x, state_y, goal_x, goal_y])
                - 奖励值 (标量)
                - 是否结束标志 (布尔值)
        """
        # 将动作限制在有效范围内[-action_bound, action_bound] (2维向量)
        action = np.clip(action, -self.action_bound, self.action_bound)
        
        # 计算执行动作后的新位置,并确保在地图边界内[0, map_bound] (标量)
        new_x = max(0.0, min(self.map_bound, self.state[0] + action[0]))
        new_y = max(0.0, min(self.map_bound, self.state[1] + action[1]))
        
        # 更新智能体位置 (2维向量)
        self.state = np.array([new_x, new_y])
        
        # 增加步数计数 (标量)
        self.count += 1
        
        # 计算当前位置与目标位置之间的欧几里得距离 (标量)
        distance = np.sqrt(np.sum(np.square(self.state - self.goal)))
        
        # 计算奖励:如果距离大于阈值则给予负奖励-1.0,否则给予0奖励 (标量)
        reward = -1.0 if distance > self.distance_threshold else 0.0
        
        # 判断是否结束:距离足够近或达到最大步数 (布尔值)
        if distance <= self.distance_threshold or self.count >= self.max_steps:
            done = True
        else:
            done = False
        
        # 返回新的观测状态、奖励和结束标志
        # 观测状态包含当前位置和目标位置 (4维向量)
        return np.hstack((self.state, self.goal)), reward, done

4.2 智能体与算法 (DDPG)

我们选择 DDPG (深度确定性策略梯度) 作为基础的 off-policy 算法。DDPG 包含一个 Actor (策略网络) 和一个 Critic (Q值网络),非常适合处理连续动作空间问题。

  • PolicyNet: Actor 网络,输入状态 s(包含目标 g),输出一个确定性的动作 a。
  • QValueNet: Critic 网络,输入状态 s 和动作 a,输出该状态-动作对的Q值。
  • DDPG: 算法主类,集成了 Actor 和 Critic,并包含目标网络、优化器、软更新和 update 逻辑。这里的实现是标准的 DDPG。
# 要训练的智能体和采用的算法
import torch
import torch.nn.functional as F
import numpy as np
from typing import Dict, Any


class PolicyNet(torch.nn.Module):
    """
    策略网络(Actor网络)
    用于输出连续动作空间中的动作值
    """
    
    def __init__(self, state_dim: int, hidden_dim: int, action_dim: int, action_bound: float) -> None:
        """
        初始化策略网络
        
        Args:
            state_dim (int): 状态空间维度 (标量)
            hidden_dim (int): 隐藏层神经元数量 (标量)
            action_dim (int): 动作空间维度 (标量)
            action_bound (float): 动作边界值,动作取值范围为[-action_bound, action_bound] (标量)
        """
        super(PolicyNet, self).__init__()
        
        # 第一个全连接层:状态维度 -> 隐藏层维度
        self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
        
        # 第二个全连接层:隐藏层维度 -> 隐藏层维度
        self.fc2 = torch.nn.Linear(hidden_dim, hidden_dim)
        
        # 输出层:隐藏层维度 -> 动作维度(本环境中动作维度为2)
        self.fc3 = torch.nn.Linear(hidden_dim, action_dim)
        
        # 动作边界,用于将输出限制在有效范围内 (标量)
        self.action_bound = action_bound

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        """
        前向传播计算动作输出
        
        Args:
            x (torch.Tensor): 输入状态 (batch_size, state_dim)
        
        Returns:
            torch.Tensor: 输出动作,范围在[-action_bound, action_bound] (batch_size, action_dim)
        """
        # 通过两个隐藏层,使用ReLU激活函数 (batch_size, hidden_dim)
        x = F.relu(self.fc2(F.relu(self.fc1(x))))
        
        # 输出层使用tanh激活函数,将输出限制在[-1, 1],然后乘以action_bound
        # 得到范围在[-action_bound, action_bound]的动作 (batch_size, action_dim)
        return torch.tanh(self.fc3(x)) * self.action_bound


class QValueNet(torch.nn.Module):
    """
    Q值网络(Critic网络)
    用于评估给定状态和动作的Q值
    """
    
    def __init__(self
【动手学强化学习】DDPG+HER 通过一个代码实例学习DDPG算法与HER算法结合进行训练 阅读详情

相关推荐

事后经验回放(HER)算法详解

事后经验回放(Hindsight Experience Replay,HER)是一种强化学习(RL)算法,旨在解决稀疏奖励问题,尤其是在目标导向任务中。当任务中目标难以实现时,传统的强化学习算法通常需要大量的交互才能获得足够的反馈(奖励)。而HER通过回放失败的经验,使用这些经验中的最终状态作为目标,重新训练模型,使得每次失败都能为模型学习提供有效信息。HER的核心思想是通过利用失败的经验来进行再训练,从而增强模型对失败情况的理解,并将其转化为有用的学习信号。

闲人编程的博客 1673

Hindsight Experience Replay(HER)技术

提出缘由 在许多强化学习环境中都存在稀疏奖励的问题,例如机械臂抓取物体,当抓到物体时给予一个正奖励,其余时候为零。再比如由n个硬币组成的环境,每个硬币都有正反两面记为{0,1}\{0,1\}{0,1},动作为选择其中一个硬币翻面,存在一个目标硬币状态组合(eg. {0,1,1,1,0...}\{0,1,1,1,0...\}{0,1,1,1,0...}),当抵达这个状态时才给予一个奖励。以上述这些环境为解决对象的RL算法程序中,经验池buffer会存储大量相同奖励reward的transition,这对于网络

ZYunfei的博客 4816

hindsight-experience-replay:这是Hindsight Experience Replay(HER)的pytorch实施-在所有提取机器人环境中进行实验

后视体验重播(HER) 这是的pytorch实现。 致谢: 要求 python = 3.5.2 openai-gym = 0.12.5(支持mujoco200,但您需要使用Gym> = 0.12.5,它在以前的版本中有一个错误。) mujoco-py = 1.50.1.56( 请使用此版本,如果您使用mujoco200,则可能在FetchSlide-v1中失败) pytorch = 1.0.0(如果使用pytorch-0.4.1,则可能会出现数据类型错误。稍后我将对其进行修复。 ) mpi4py 待办事项清单 支持GPU加速-尽管我添加了GPU支持,但是如果您没有强大的计算机,我仍然不建议您使用。 为每个MPI添加多个环境。 添加FetchSlide-v1的图和演示。 指令运行代码 如果要使用GPU,只需添加--cuda标志(不推荐,最好使用CPU) 。 训练FetchR

用LTspice仿真Buck电路输出电容:从参数计算到波形优化的全流程演示

本文详细介绍了使用LTspice仿真Buck电路输出电容的全流程,从理论计算到波形优化。通过解析关键参数如纹波电压、瞬态响应和ESR,结合工程计算方法和LTspice仿真技巧,帮助工程师优化Buck电路设计,解决输出纹波过大和瞬态响应不佳的问题。

night的博客 855

Claude Code 实战指南:用 AI 玩转终端编程,效率狂飙!

本文介绍了终端 AI 代理工具 Claude Code,涵盖常用命令、使用方法(如 init 初始化、权限配置、工作流程、上下文管理)、MCP 扩展工具及实战案例,展示其通过自然语言辅助开发的高效性与实用性。

个人技术 1万+

虚幻UE 增强输入-触发器

输入触发器(UInputTrigger): 使用经过修饰器修改的输入值,或者使用其他输入动作的输出值,来确定是否激活输入动作。

UE成长之路,欢迎大家的关注! 5471

中颖单片机SH79F3213正弦波矢量的电动车小毛驴控制器量产资料

中颖单片机SH79F3213正弦波矢量的电动车小毛驴控制器量产资料 中颖单片机SH79F3213 制作的电动车小毛驴控制器量产资料,已量产十几万片,拿到手即可量产 1、提供原理图 2、提供PCB图 3、提供C语言源代码程序 4、提供清单 ...

m0_69036675的博客 4529

Python爬虫实战:基于Scrapy与Playwright高效爬取人民网新闻数据

本文将详细介绍如何使用Python最新技术栈(Scrapy框架结合Playwright浏览器自动化工具)高效爬取人民网新闻数据。文章包含完整项目搭建、反反爬策略、数据解析存储以及性能优化等核心内容,提供可直接运行的代码示例,适合中高级Python开发者学习现代网络爬虫开发技术。python# 去除特殊空白字符。

2201_76125261的博客 1123

使用 Azure DevSecOps 和 AIOps 构建可扩展且安全的多区域金融科技 SaaS 平台

这家虚构的金融科技 SaaS 组织在 Microsoft Azure 上构建了一个现代化的多区域架构,以实现高可用性、主动安全性和简化的 DevSecOps 工作流。如果您是 DevOps 从业者、SRE 专业人士或致力于创建弹性、可扩展且安全的金融科技解决方案的技术领导者,您将从中获得可直接应用于您自身项目的见解和经验教训。与大多数快速扩张的金融科技公司一样,他们需要确保不间断的正常运行时间、坚不可摧的安全性以及快速的功能交付,以满足全球用户群的需求。即使是短暂的中断也会损害用户的信心和忠诚度。

介绍AWS Azure GCP devops Terraform 等技术 1300

手把手教你学PCIE(2.1.23)--PCIe基本概念:链路速率协商

链路速率协商是一个多步骤的过程,确保发送端和接收端之间的链路速率设置一致。通过初始化链路速率寄存器、发送和接收 TS2 序列、检测链路对端的存在、交换链路速率信息、确定最大链路速率和配置链路速率,可以确保 PCIe 设备之间的数据传输速度最大化,从而提高数据传输效率。初始化链路速率寄存器:设置支持的最大链路速率。发送和接收 TS2 序列:检测链路对端的存在。交换链路速率信息:发送和支持的最大链路速率。确定最大链路速率:选择最小值作为最终链路速率。配置链路速率:更新链路速率寄存器。

MHD0815的博客 1819

【数据集4】GSWP3数据集详解

简介GSWP3数据集

WW、forever的博客 1370

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 从代码学习深度强化学习 - 模型预测控制 PyTorch版
下一篇: 从代码学习深度强化学习 - 多智能体强化学习 IPPO PyTorch版
飞雪白鹿€
博客等级 码龄8年 1019粉丝 103原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址