【强化学习RL】model-free的prediction和control — MC, TD(λ), SARSA, Q-learning等

强化学习3——有模型(Model-base)与无模型(Model-free)RL的区别 文章目录强化学习——有模型(Model-base)与无模型(Model-free)RLModel-base RLModel-free RL 强化学习——有模型(Model-base)与无模型(Model-free)RL Model-base RL ​ 在这个过程中,agent 没有跟环境进行交互,环境的所有信息(转移概率和价值函数都给了,不需要自己探索)都具有了。 Model-free RL ​ 在这个过程中,agent没有环境的信息,需要跟环境进行交互,采集到很多的轨迹数据,agent 从轨迹中获取信 阅读详情

本系列强化学习内容来源自对David Silver课程的学习 课程链接http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html

  在上一文介绍了RL基础概念和MDP后,本文介绍了在model-free情况下(即不知道回报Rs和状态转移矩阵Pss'),如何进行prediction,即预测当前policy的state-value function v(s)从而得知此policy的好坏,和进行control,即找出最优policy(即求出q*(s, a),这样π*(a|s)就可以立刻知道了)。

  在prediction部分中,介绍了Monto Carlo(MC),TD(0),TD(λ)三种抽样(sample)估计方法,这里λ的现实意义是随机sample一个state,考虑其之后多少个state的价值。当λ=0即TD(0)时,只考虑下一个状态;λ=1 时几乎等同MC,考虑T-1个后续状态即到整个episode序列结束;λ∈(0,1)时为TD(λ),可以表示考虑后续非这两个极端状态的中间部分,即考虑后面n∈(1, T-1)个状态。同时,prediction过程又分为online update和offline update两部分,即使用当前π获得下一个状态的回报v(s')和优化policy π是否同时进行。

  在control部分中,介绍了如何寻找最优策略的方法,即找到q*(s, a)。分成on-policy和off-policy两部分,即没有或者是参考了别人的策略(比如机器人通过观察人的行为提出更好的行为)。在on-policy部分,介绍了MC control、SARSA、SARSA(λ)三种方法,off-policy部分介绍了Q-learning的方法。

具体都会在下面正文介绍。

目录:

一、model-free的prediction

  1. Monto Carlo(MC) Learning

  2. Temporal-Difference TD(0)

  3. TD(λ)

二、model-free的control

  1. on-policy的Monto Carlo(MC) control

  2. on-policy的Temporal-Difference(TD) Learning - SARSA和SARSA(λ)

  3. off-policy的Q-learning

 

一、model-free的prediction

  Prediction 部分的内容,全部都不涉及action。因为是衡量当前policy的好坏,只需要估计出每个状态的state-value function v(s)即可。上一文中介绍了使用Bellman Expectation Equation求得某个状态v(s)的数学期望,可以用动态规划DP进行遍历全部状态求得。但是这样的效率是非常低的,下面介绍了两种用sample采样的方法获取v(s)。

1. Monto Carlo(MC) Learning

  Monto Carlo是一个经常会遇到的词,它的核心思想是从状态st出发随机采样sample至获得很多个完整序列,可以获得完整序列的实际收益,从而取平均值就是v(st)。需要注意的是,MC只能用于terminate的序列(complete)中。

  在MC sample的过程中,每个状态点值函数,每次遍历N(s)+=1,S(s)为总回报每次S(s)+=Gt,这里Gt表示第t次采样获得的回报,这样当时,,所求的平均值V(s)就接近真实值Vπ(s)。在获得完整序列的过程中,很可能会遇到环,即一个状态点经过多次,对此MC有两种处理方法,first step(只在第一次经过时N(s)+=1)和every step(每次经过这个点都N(s)+=1)。

  V(s)可以看做所有经过s的回报求和后取平均值产生。但是这个平均值计算不仅可以先求和再做除法,还可以通过在已有的平均值上加一点差值获得,就是下面左式的形式,已有的平均值为V(St),此次采样获得的回报为Gt,同当前平均值的差值为(Gt - V(St))。但这样来看,需要一直维护一个N(s)计数器,可是,真正平均值优化时只需要知道一个优化的方向即可,所以用一个(0,1)常数α来代替1/N(St),即下面右式的形式。 α的现实意义是一个遗忘系数,即适当程度以往古老的采样结果,不需要对所有sample出的序列都记得很清楚。

     

2. Temporal-Difference TD(0)

  Monto Carlo采样有一个很明显的缺点,就是必须要sample出完整的序列才能观测出这个序列得到的回报是多少。但是TD(0)这种方法就不需要,它利用Bellman Equation,当前状态收益只和及时回报Rt+1和下一状态收益有关(如下式),红色部分为TD target,α右边括号内为TD error。所以TD(0)只sample出下一个状态点St+1,用已有的policy计算出Rt+1和V(St+1),这种用已知来做估计的方法叫做bootstrapping(updates a guess towards a guess),而MC是观测的实际值取平均,是没有bootstrapping的。由于TD(0)只需要sample出下一个状态St+1,所以可以用于non-terminate序列中(incomplete)。

   同MC比较,TD(0)采用已有policy预测出TD error,和MC的实际值相比有更大的偏差,但是TD(0)只需要sample出下一个状态序列而不是MC的完整序列,所以TF(0)预测获得的方差比MC小。

  具体对v(s)的计算举例如下,进行8次sample,不考虑discount factor γ,下图获得的V(A)和V(B)分别是什么?

        

  可以看出,无论是TD还是MC,v(B)都是取平均值计算出来的0.75;但是通过MC算出的V(A)是0,因为A只有一次sample结果是0,TD(0)算出来的是0.75,因为A的下一个状态是B且V(B)=0.75, r=0。这一点来看,TD算法更能够利用Markov特性;TD(0)只sample下一个状态点的结果,而不需要每次sample都要等到最终序列结束出结果,所以比MC更高效;但是由于是bootstrapping方法,受初始化值影响更大,拟合性也不如MC好。下图显示了计算期望全部遍历的动态规划DP算法,sample采样下一个状态TD(0)算法,和sample出完整序列T-1个状态的MC算法相互间的关系,但是在1和T-1之间的诸多点,也可以sample考虑,这就是更一般的表达TD(λ)。

        

3. TD(λ)

  这里λ是一个∈[0,1]的实数,它决定了需要采样之后的多少个状态点St+n,n从1到无穷大的简略表达如下左式,Gt(n)表示采样到St+n时获得的回报,那么如何综合一下Gt(1)到Gt(n)的回报呢,这里给每一个Gt乘了一个系数(1-λ)λ^(n-1),由于∑λ^n = 1/(1-λ),所以右式的∑=1。

    

  这里Gtλ的系数表示如下图所示,曲线下方的面积和为1。可以看出,每次权重都会削减成原来的λ倍(λ∈[0,1]),这样很靠后的状态权重就逐渐减小,可以达到减小λ减小n的效果,这里控制系数的实数λ就可以控制n,比如λ=0时,与TD(0)的函数表达相同,表示再往后采样一个状态St+1,λ=1时,每次不削减,表示采样到最后相当于MC。

 

  Temporal-Difference的sample分成了forward-view(下图左)和backward-view(下图右)两部分。forward-view就是刚刚叙述的往后sample n个状态点(受λ控制),是看未来的回报的 ,类似于MC只能用于complete的序列。backward-view却可以用在incomplete的序列上,只需在sample的过程中,每一步更新都维护一个Eligibility Trace,记录这个未完毕序列的信息,最后成为对平均值更新的权重。

   

   这里的Eligibility Trace(下面左式),类似于青蛙跳井,每跳一下会升高,不跳的话就逐渐掉下去,既结合了frequency heuristic(跳几下),又结合了recency heuristic(什么时候跳的)。而这里的“跳”,就相当于经过状态所求点s,这样backward-view的值函数更新就可以写成下面右式的形式。当λ=0时,只有在经过s时Et(s)才为1,下面右式 结果同TD(0)表达相同;当λ=1时,整个序列中的每一个状态点有eligibility trace值会被考虑,可以看做MC。每次值函数的更新既参考了TD-error()又参考了eligibility trace Et(s)。

           

  Eligible Trace的函数可以看做如下的表示,纵轴表示积累的值横轴表示时间,| 表示遇到状态s的时刻点:

 

  当λ=0,只在当前状态做更新,下图左式完全等同于TD(0)的下图右式:

     

 

 

  同时,TD(1)完全等同于MC(every-visit)。下面式子可以看出,λ=1时,Et(s)=γ^t-k,连续的TD error求和,为,即可看作一直sample出完整序列T-1的MC error。

 

    

  当序列环境是offline update时,即所有sample过程中不改变policy,forward-view和backward-view相同(见下式,左边可以化简到右边的形式),并且TD error可以化为λ-error的形式。

    

  当序列环境是online update时,即边sample边优化policy,backward-view就会一直累积一个error,如下,所以如果访问s多次,这个error就会变得很大。

    

   总结的一个表格如下:

    

 

 

二、model-free的control

  这里on-policy可以看做“learn on the job”,即对自己行为的反思优化;off-policy可以看做“look over someone‘s shoulder’”,即通过观察其他agent的行为提出优化。

  在寻找最优policy过程中,可以看做policy evaluation和policy improvement两部分,一种最基础的贪心算法做improvement如下图。每次V通过当前策略π做evaluation,之后策略π再greedy找寻更优的值函数对应状态,这样可以保证v和π最终都向最优V*和π*收敛。

     

 

 

  下面介绍的几种方法都是基于这个evaluation和improvement框架进行展开,只不过是model-free的,没有状态转移矩阵P的相关值无法进行的推导,所以只能用action-value函数q(s, a),通过对policy进行优化。

  并且,对于下面介绍的sample方法进行policy evaluation来说,单纯用greedy算法并不准确,因为很可能某状态在一个action下会有更高回报,可是正好没有sample到这个更高回报值,该条路径就会被忽略,陷入局部最优解。所以这里又提出使用ε-greedy代替绝对的greedy算法(ε∈[0,1]),变得更soft,每次1-ε概率选择所知最优的action,ε在所有action集合中随机选择,如下面左式,下面右式证明可得,采用ε-greedy获得的Vπ'(s)≥Vπ(s),整体向更优策略方向走。

  很简单的方法,但可以explore更大的state space,获得更全局的最优解。

 

 1. on-policy的Monto Carlo(MC) control

  采用MC方法估计action-value function,然后使用ε-greedy做策略优化。但这里在原始MC control基础上可以做优化,即每次不需要估计出很精确的qπ,只需要Q ≈ qπ即可,再在Q上做优化,仍旧是朝向着最优q*的方向前进的。

    

 

 坑代填。。

【强化学习】——03 Model-Free RL之基于策略的强化学习 \quad\quad 基于价值的RL主要通过学习状态价值函数V(s)V(s)V(s)和动作价值函数Q(s,a)Q(s,a)Q(s,a)来做出动作决策\quad\quad 基于策略的RL则是通过对策略建模和优化,调整策略参数以最大化回报的期望值\quad\quad 基于策略的RL更适合于Agent具有连续的动作和需要随即策略的场景\quad\quad 通过梯度上升方法调整策略πθ\pi_\thetaπθ​的参数θ\thetaθ,以最大化目标函数J(θ)J(\theta)J(θ)\quad\quad (1)策略 阅读详情

相关推荐

强化学习实战:Model-base与Model-free RL的核心差异与应用选择

本文深入解析了强化学习中Model-base与Model-free两大范式的核心差异。Model-base RL依赖已知的环境模型进行“思维实验”与规划,而Model-free RL则通过与环境的直接交互试错来学习。文章通过生动的比喻和技术剖析,对比了二者在预测与控制环节的不同实现,并提供了结合样本效率、安全性等维度的实战选择指南,帮助读者根据具体场景做出最优决策。

weixin_29065015的博客 665

模型自由(Model-Free)和模型基础(Model-Based)的强化学习

强化学习(Reinforcement Learning, RL)是机器学习中的一个子领域,用于解决决策问题。在强化学习中,主要分为两大类:模型自由(Model-Free)和模型基础(Model-Based)。什么是模型自由(Model-Free)的强化学习?模型自由的强化学习不依赖于环境的内部模型。换句话说,它直接从与环境的交互中学习如何采取行动。这种方法的代表性算法有Q-learning和SARSA。与其他技术的对比: 相较于监督学习,模型自由的强化学习更加强调通过实践来学习。

cuisidong1997的博客 1559

[强化学习]区分Model-free和Model-based方法

所以,如果你想查看这个强化学习算法是model-based还是model-free的,你就问你自己这个问题:在agent执行它的动作之前,它是否能对下一步的状态和回报做出预测,如果可以,那么就是model-based方法,如果不能,即为model-free方法

一番の宝物 5万+

关于model-free 算法

无模型算法是一类用于解决机器学习和人工智能中问题的强化学习(Reinforcement Learning,RL)算法,其中代理通过反复尝试和错误来学习做出决策,而无需显式地对底层系统动态建模。在无模型 RL 中,代理专注于直接从与环境的交互中学习最佳策略,而不是构建环境运作方式的模型。无模型算法广泛应用于自主机器人、游戏玩法优化、金融交易策略和自动驾驶等领域,其中代理需要通过与环境的交互来学习最佳决策策略,而不需要了解环境内部的详细信息。:Q 学习和 SARSA 是两种著名的无模型算法。

FM_1793的博客 531

带你一分钟了解电感与磁珠的区别

在电路设计中会经常使用到电感和磁珠,虽然在电路中的作用有所不同,但它们都属于磁性电子元器件,本文简单介绍下电感和磁珠的区别电感和磁珠电感和磁珠的结构主要由磁性材料金属线圈和外壳组成,具体结构如下图所示:电感磁珠结构图电感其实是金属线圈缠绕在磁芯上,而磁珠是在内部折叠后外围包裹着铁氧体磁性材料。电感器(Inductor)又称扼流器、电抗器、动态电抗器是储能器件,能够把电能转化为磁能而存储起来的元件。磁珠则是能量转换(消耗)器件,将流过他的高频信号以热能的形式消耗掉。

攻城狮鹏哥 1415

应用软件——Altium Designer 19 Gerber/坐标文件

如何输出Gerber文件 步骤如下: 打开需要输出的PCB文件 2. 设置原点坐标 3. 打开Gerber Files 选项,File–>Fabrication Opuputs–>Gerber Files。 4. General参数设置。 用于指定输出Gerber文件中使用的单位(Units)和格式(Format)。单位可以是公制(Millimeters)和英制(Inches);格式栏中2:3,2:4,2:5代表文件中使用的不同数据精度,其中2:3表示数据含2位整数3位小数;相应的,另外两个分

染血黑兔的博客 7210

Model_free RL强化学习笔记(二)

Model_free强化学习: 附上实验室大佬的github学习笔记: 点击进入《虎师兄带你入门强化学习》 文章目录Model_free强化学习:1. 蒙特卡罗法1.1 ϵ−贪心策略1.2 求解控制问题下,在线蒙特卡罗法伪代码1.3 柔性策略的每次访问同侧回合更新算法伪代码1.4 不足2. 同策时序差分更新2.1 时序差分价值函数迭代式2.2 时序差分与蒙特卡罗方法对比2.3 n步时序差分2.4 步长选择2.5 伪代码3. SARSA算法3.1 算法流程3.2 期望SARSA算法4. 异策时序差分更新4.

weixin_45776027的博客 656

SAP IDOC实战:如何用EDI实现跨公司采购订单自动生成销售订单(附完整配置步骤)

本文详细解析了如何利用SAP IDOC与EDI技术,实现跨公司采购订单自动生成销售订单的完整流程。通过实战案例,从业务蓝图设计、输出条件配置、伙伴参数设定到IDOC消息类型处理,提供了清晰的配置步骤与故障排查指南,帮助企业打通内部业务流,构建高效的自动化闭环。

weixin_29215815的博客 732

强化学习中model-free和model-based

特点Model-Free依赖环境模型是否学习方法学习环境模型并进行规划直接学习策略或价值函数计算复杂度较高,需要维护和利用环境模型较低,不需要显式的环境模型数据效率较高,通过模型可以进行模拟和规划较低,需要大量的交互数据适用场景环境模型已知或可估计环境复杂或难以建模示例算法动态规划、MCTS、Dyna-Q等Q学习、SARSA、DQN、策略梯度法等Model-based 和 model-free 强化学习算法各有优缺点,选择哪种方法取决于具体的应用场景和需求。

再来一下! 2103

DFT设计绪论

DFT设计的主要目的是为了将defect-free的芯片交给客户。 产品质量,通常使用Parts Per million(PPM)来衡量。 但是随着IC从SSI到VLSI的发展,在test上花销的时间越来越多,test的quality却很难提高,这使得DFT的engineer不断的发展着DFT的技术。 DFT engineer面对的第一个问题是设计内部的状态的可测试性问题。在...

ahr7882的博客 1197

NLP自然语言处理:神经网络语言模型(NNLM)

目录 一、传统语言模型 1.1 稀疏性 1.2泛化能力差 二、神经网络语言模型 2.1 前馈神经网络模型(FFLM) 2.2 循环神经网络模型(RNNLM) 2.2.1循环神经网络模型示例 2.2.2RNN语言模型训练过程 2.2.3RNN语言模型反向传播 2.2.4语言模型评估 语言模型的构建目的是为了对语言中的各要素的分布进行估计,具有较长的研究历史和广泛...

陈宸的博客 1万+

【算法】强化学习算法知识点面试准备

序列决策问题。或者说是对应的模型未知,需要通过学习逐渐逼近真实模型的问题并且当前的动作会影响环境的状态,即服从马尔可夫性的问题。同时应满足所有状态是可重复到达的(满足可学习型的)。DL中的loss function目的是使预测值和真实值之间的差距最小,而RL中的loss function是使奖励和的期望最大。参考:https://zhuanlan.zhihu.com/p/162787188Model-based强化学习中所说的model-based并不是已知环境模型,或者已知状态转移概率**。而是要从经验中

qq_40145095的博客 1961

01-SA8155P 冷启动强制进入EDL模式

冷启动EDL模式

静虚待令,有物混成 3099

Model-Free Reinforcement Learning(无模型强化学习)详解-ChatGPT4o作答

Model-Free Reinforcement Learning(无模型强化学习)是一种强化学习方法,其中智能体(Agent)不需要事先了解环境的状态转移概率模型(Transition Model)或奖励函数(Reward Function),而是通过与环境的交互直接学习最优策略(Policy)或值函数(Value Function)。这是强化学习的核心方法之一,特别适合于动态、复杂或无法明确建模的环境。与Model-Based RL的对比:两种主要方法:目标:值函数的定义:贝尔曼方程(Bellman E

qq_46215223的博客 2094

【时时三省】tessy 单元测试 之 CTE(The Classification Tree Editor) 的使用

有图有文字详细介绍利用 CTE界面中的树 批量产生用例。

时时三省的博客 842

半小时搞定Yolov5安装配置及使用(详细过程)

Yolov51. 下载Yolov52. 安装Yolov5 在下载配置Yolov5前,先要安装好Anaconda环境,可参考之前博文:最新Anaconda3的安装配置及使用教程(详细过程) 1. 下载Yolov5 首先下载Yolov5源码: Yolov5 Github地址:https://github.com/ultralytics/yolov5 直接git clone到本地工作目录,等待下载完成: Yolov5代码目录架构: 2. 安装Yolov5 源码下完后,下面开始安装Yolov5所需模块,

HowieXue 薛永浩的博客 12万+

基于策略的强化学习(三):Actor—Critic算法

Actor—Critic算法 Actor—Critic算法的名字很形象,包含一个策略函数和行为价值函数,其中策略函数充当演员(Actor),生成行为与环境交互;行为价值函数充当(Critic),负责评价演员的表现,并指导演员的后续行为动作。Critic 的行为价值函数是基于策略 πθ 的一个近似: 基于此,Actor—Critic算法遵循一个近似的策略梯度进行学习:Critic 在算法中充当着策略评估的角色,由于 Critic 的行为价值函数也是带参数 (w) 的,这意味着它也需要学习以便更准确的评估一个策

ZongXS的博客 1600

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【强化学习】强化学习中,model free指的什么?详细进行解释

强化学习(Reinforcement Learning, RL)是一种通过试错(trial and error)学习优化决策策略的方法。在强化学习中,模型可以分为两大类:模型自由(Model-Free)和模型基(Model-Based)方法。下面将详细介绍模型自由方法(Model-Free),它在强化学习中扮演着重要角色。

wq6qeg88的博客 1792

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

RL的分类

RL算法的分类 1. 分类标准一 从“是否能对环境建模”出发,RL可以被划分为 Model-Free 和Model-Based. 二者之间的区别就是 agent能不能为环境建模,也就是去学习一个函数可以预测状态转移和收益。 如果我们为环境建模,那么agent就可以提前预测各种选择下的情况,并从这些预测过程中学到更多经验,再应用到实际行为中。最著名的就是AlphaZero的例子,在 sample ...

听了个听儿 1155

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【强化学习纲要】7 基于环境模型的RL方法

【强化学习纲要】7 基于环境模型的RL方法7.1 基于环境模型强化学习概要7.2 基于环境模型的价值函数优化7.3 基于环境模型的策略函数优化7.4 在机器人领域的应用 周博磊《强化学习纲要》 学习笔记 课程资料参见:https://github.com/zhoubolei/introRL. 教材:Sutton and Barton 《Reinforcement Learning: An Introduction》 7.1 基于环境模型强化学习概要 前几节都是基于Model-free的强化学习算法,Mod

qq_43058281的博客 3080

强化学习笔记(6)—— 无模型(model-free)control问题

详细分析几种针对 RL control 任务的经典 MC & TD 方法

佚失的诗篇 1428

Model-Based RL笔记1: learning the (state) model

This version is particularly effective if we can hand-engineer a dynamics representation using knowledge physics, and fit just a few parameters (dynamics来源于物理,只需要fit几个参数,不适用于用神经网络去fit一个未知维度的state)在MBRL1.0基础上,加入MPC,仅执行planning当期的action,然后每一步都使用oberved。

weixin_44504134的博客 859

手把手教你强化学习 (六) 强化学习中的无模型预测

  在大多是强化学习(reinforcement learning RL)问题中,环境的model都是未知的,也就无法直接做动态规划。一种方法是去学MDP,在这个系列的理解强化学习中的策略迭代和值迭代这篇文章中有具体思路。但这种做法还是会存在很多问题,就是在sample过程中会比较麻烦,如果你随机sample的话就会有某些state你很难sample到,而按照某种策略sample的话,又很难得到...

小小何先生的学习之旅 3049

RL相关知识补缺

即使是 model-based 也是不断交互获得实现最大化长期累积奖励的策略,只不过交互过程中转移是去额定的,而 model-free 是依靠经验去学习的。Model-Based RL 先还原“环境逻辑”,再在这个逻辑中寻找最优行为;而 Model-Free RL 则靠大量试错直接学习出最优策略。是两种基本的策略类型,主要区分于是否显式使用环境的“模型”(model)来辅助学习。在强化学习(Reinforcement Learning, RL)中,的问题,当前主流的方法确实倾向于采用。

weixin_45302337的博客 493

12、Eligibility Traces

文章目录1、The λ-return   1、The λ-return

JacobJiang的博客 1214
上一篇: Unreal Engine 4 蓝图完全学习教程(一)—— 简要介绍
下一篇: Qt Installer Framework翻译(5-4)
Globalizationa
博客等级 码龄7年 88粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址