系列文章目录
目录
前言
多年来,机器人学一直致力于构建能够遵循自然人类指令、并在多种环境和机器人躯体间灵活操作的智能体。大型语言模型(LLM)与视觉语言模型(VLM)的近期突破指明了方向:通过将基础模型架构锚定于动作,将其扩展至具身控制领域。由此催生了视觉-语言-动作(VLA)模型,人们期待单一通用模型能兼具广泛语义理解与强健操作能力。
但训练此类模型困难重重。机器人数据因平台、传感器、具身形式及采集协议而碎片化。异构性无处不在:不同的机械臂配置、不同的动作空间、不同的摄像头设置、不同的视觉领域、不同的任务分布。这些不一致性造成重大分布偏移,导致预训练不稳定且适应性不可靠。
受元学习与提示学习启发,我们提出新思路:“若VLA模型能像大型语言模型学习任务那样,通过提示语学习每台机器人的结构与数据集呢?”
X-VLA是一种基于软提示的流匹配VLA框架,将每套硬件配置视为“任务”,并通过少量可学习嵌入向量进行编码。这些软提示捕捉具身化与领域特异性变异,从多模态融合的最初阶段就引导Transformer模型。凭借此机制,X-VLA能在统一
订阅专栏 解锁全文
6313



被折叠的 条评论
为什么被折叠?



