1. 模仿学习到底在解决什么问题
1.1 从一个最朴素的直觉说起
模仿学习(Imitation Learning)这个名字听起来很好懂,就是让机器学习人类怎么做。但真正入门之后你会发现,这个词背后叠着好几层含义,有时候它指行为克隆,有时候指逆强化学习,有时候又指生成式对抗模仿学习。如果不先把这层概念捋清楚,后面看论文也好、写代码也好,很容易越看越糊涂。
我最早接触模仿学习是被一个机械臂抓取项目逼的。当时我用强化学习去调一个六自由度机械臂的抓取策略,reward函数改了七八版,今天觉得“距离目标近一点给奖励”很合理,明天又发现它学会了一个很离谱的钻牛角尖动作,整个训练过程极其不稳定。后来某位做机器人方向的朋友跟我说,你手里不是已经有一批人工示教数据吗,直接让模型学这批数据里的动作不就行了。那一瞬间我意识到,模仿学习的核心思路其实特别朴素:既然写一个完美的奖励函数很难,既然让机器自己摸索又太慢,那就直接照抄人类已经会做的事情。
从机器学习任务的定义来看,模仿学习要解决的是“从专家演示中学习策略”的问题。输入是一批状态到动作的配对样本,也就是专家在某些状态下做了什么动作,输出是一个策略模型,能够让智能体在面对类似状态时做出同样合理的动作。这个定义听起来跟普通的监督学习几乎一样,也确实有很多模仿学习论文在最底层就是套了一个分类或者回归的框架。但它跟普通监督学习有一个本质区别:普通监督学习只管单步预测对不对,模仿学习还要关心多步决策的累积后果,也就是智能体一旦产生偏差,后续状态会跟着受影响,错误会被放大。
1.2 和强化学习相比,模仿学习省了什么
强化学习最折磨人的地方是设计奖励函数。很多真实任务里,你很难用一个明确的数值告诉智能体什么行为是好的。比如“把螺丝拧进螺母”,你到底是按角度给奖励,还是按扭矩给奖励,还是按完成时间给奖励?每一种设计都对应完全不同的学习行为。模仿学习则直接绕开了这个问题,因为专家已经用行动回答了“什么算好”,你不需要自己定义好坏。
但这不意味着模仿学习比强化学习简单。说得直白一点,强化学习是把“怎么做好”这个搜索问题交给算法去暴力探索,模仿学习是把“什么是好”这个定义问题转移到了专家数据和策略泛化能力上。你有多少数据、数据覆盖了哪些状态、专家本身够不够强、模型能不能在没见过的新状态下做出合理应对,这些都是模仿学习真正需要面对的麻烦。
在我实际做项目的体感里,模仿学习最适合的启动场景有这么几个:一是任务本身很难用规则描述,但人类做起来很自然,比如倒水、叠衣服、开车变道;二是你已经有大量历史日志或者人工示教数据,不需要再额外搭建数据采集环境;三是训练周期有要求,用强化学习跑几百万步太奢侈,想先用一批数据快速出一个能用的基线。反过来,如果你的任务状态空间极其开放,专家数据又稀缺,模仿学习就很容易翻车,这种时候反而要考虑强化学习或者两者结合。
2. 核心方法一:行为克隆——最简单也最容易翻车
2.1 行为克隆的基本流程
行为克隆(Behavior Cloning)是模仿学习里最直白的一种实现方式。它的做法可以用一句话概括:把专家演示当成监督学习的训练集,用常见的分类或者回归模型去拟合状态到动作的映射。
具体流程一般是这样:
- 采集专家数据。在机器人场景里可能是人工遥操作机械臂,在自动驾驶场景里可能是采集人类司机的方向盘、油门刹车操作,在游戏场景里可能是记录人类玩家的按键序列。数据通常组织成“观测 + 动作”的键值对形式。
- 数据预处理。把观测统一成固定维度的向量或者图像张量,动作如果是连续值就做回归,如果是离散按键就做分类。必要的时候做归一化、数据增强、剔除异常轨迹。
- 训练一个监督学习模型。输入是观测,输出是动作。网络结构可以用多层感知机、卷积网络或者带时序建模能力的结构,具体取决于观测的形式。
- 部署到环境中。让训练好的策略模型实时输出动作,然后观察它在真实环境或者仿真环境里的表现。
听起来很简单对不对?我第一次跑通一个行为克隆Demo也只花了半天。用的是仿真环境里的自动驾驶小车,采集了三十多轮人工操作数据,训练了一个小网络,效果在训练集覆盖过的场景里还真像回事。但一旦把小车放到一个新场景,比如路口多了一个没有见过的障碍物,它就完全不知道该怎么办了,直接冲着障碍物撞过去。
2.2 行为克隆的致命问题:分布偏移
行为克隆这个问题有个专门的名字,叫“分布偏移”(distribution shift),也叫“复合误差”(compounding error)。理解它对于做任何模仿学习项目

本文系统梳理模仿学习的核心方法:行为克隆(BC)、DAgger与生成式对抗模仿学习(GAIL)。重点剖析BC的分布偏移问题、DAgger通过专家交互缓解该问题的机制,以及GAIL基于对抗训练实现行为分布匹配的原理。内容涵盖各方法的流程、实操要点、典型失败场景及调试策略,并对比其适用条件。强调数据质量、状态覆盖与专家一致性等工程关键因素,面向机器人、自动驾驶与游戏AI等真实场景提供选型建议。
697

被折叠的 条评论
为什么被折叠?



