LeRobot X-VLA:首个适用于任意机器人、任意任务的软提示机器人基础模型

系列文章目录

目录

系列文章目录

前言

一、安装

二、快速入门

2.1 基本用法

2.2 评估预训练检查点

三、可用检查点

3.1 🎯 基础模型

3.2 仿真检查点

3.3 🤖 真实场景检查点

四、训练X-VLA

4.1 推荐训练配置

4.2 训练参数详解

4.3 示例:双臂机器人训练

五、核心概念

5.1 动作模式

5.1.1 可用动作模式

5.1.2 动作模式为何重要

5.1.3 示例:双臂SO101动作空间

5.1.4 自动操作模式(推荐)

5.1.5 工作原理:

5.2 领域标识符

5.2.1 设置域ID

5.3 处理器步骤

5.3.1 必备预处理步骤

5.3.2 自定义处理器示例

5.4 配置参数

六、创建自定义动作模式

6.1 定义动作空间

6.2 使用您的自定义操作模式

七、高级主题

7.1 多摄像头支持

7.2 自定义预处理管道

7.3 处理不同的动作维度

7.3.1 使用自动动作模式

7.3.2 使用内置填充的预定义操作模式

7.3.3 创建一个自定义操作模式,该模式显式映射维度

八、故障排除

8.1 常见问题

九、引用

十、附加资源


前言

        多年来,机器人学一直致力于构建能够遵循自然人类指令、并在多种环境和机器人躯体间灵活操作的智能体。大型语言模型(LLM)与视觉语言模型(VLM)的近期突破指明了方向:通过将基础模型架构锚定于动作,将其扩展至具身控制领域。由此催生了视觉-语言-动作(VLA)模型,人们期待单一通用模型能兼具广泛语义理解与强健操作能力。

        但训练此类模型困难重重。机器人数据因平台、传感器、具身形式及采集协议而碎片化。异构性无处不在:不同的机械臂配置、不同的动作空间、不同的摄像头设置、不同的视觉领域、不同的任务分布。这些不一致性造成重大分布偏移,导致预训练不稳定且适应性不可靠。

        受元学习与提示学习启发,我们提出新思路:“若VLA模型能像大型语言模型学习任务那样,通过提示语学习每台机器人的结构与数据集呢?”

        X-VLA是一种基于软提示的流匹配VLA框架,将每套硬件配置视为“任务”,并通过少量可学习嵌入向量进行编码。这些软提示捕捉具身化与领域特异性变异,从多模态融合的最初阶段就引导Transformer模型。凭借此机制,X-VLA能在统一

VTK在QT与非QT环境下使用的区别 VTK可以在QT框架内使用,也可以独立于QT使用,这两种使用方式在架构、交互和渲染方面有显著差异。 阅读详情

相关推荐

跟着团子学SAP PS:WBS BOM的实际应用价值 CS71/CKW1/CKW4

过往在参与很多项目实施的时候有很多顾问都会提到WBS BOM是否要启用,但仔细聊下来会发现大部分人对WBS BOM的真正功能以及实际应用场景并不是非常了解,因为WBS BOM的实际应用场景非常有限,大部分情况下基本都可以不用考虑启用WBS BOM。 WBS BOM和普通BOM的核心区别是多了一个WBS元素编码的维度,也就是说同一个成品料号可以基于不同WBS元素编码设计不同的BOM主数据。 所以从本质而言WBS BOM真正解决的问题只是减少成品物料的物料编码,比如一个项目中生产2个同型号的控制柜,但两个控制柜

Lucas1211的博客 6313

【TCGA-CRC】TCGA数据读取

本文介绍了如何从TCGA数据库中处理结肠癌(COAD)和直肠癌(READ)的RNA测序数据。首先,通过data.table::fread函数读取基因表达量文件,并检查基因ID和基因名称的一致性。接着,批量读取所有样本的TPM(Transcripts Per Million)数据,并将其合并为表达矩阵。随后,通过匹配样本ID和文件名,确保表达矩阵的列名与样本ID一致。最后,筛选出编码蛋白质的基因,并将处理后的数据保存为Rdata文件。整个过程涉及数据读取、合并、匹配和筛选,为后续的基因表达分析提供了基础。

小八四爱吃甜食的博客 664

如何浏览与下载全球免费的地图高分辨率(亚米级)的遥感影像?

前言 如果你想使用商业卫星的高分辨遥感影像,一般价格昂贵。我们可以使用地图平台上免费的高分辨率数据。目前数据源很多,比如说google earth、天地图、四维地球、必应地图等等。这些影像统一有一个共同点就是:RGB三波段;Web地图瓦片服务。这意味着我们可以通过瓦片服务下载影像,但下载的影像只有三个波段,分别是 一.引言 二、可使用高分辨率的地图数据源 1.Google Earth影像 2.Esri World Image 3.天地图 4.必...

锐多宝的地理空间 2万+

SAP 发货在途库存管理:POD确认差异下的2种后续调整方案对比

本文详细解析了SAP发货在途库存管理中POD确认差异后的财务调整方案,对比了移动类型417和555 T两种处理方式的适用场景及财务影响。通过实际案例说明如何优化POD流程,减少库存差异损失,提升供应链管理效率。特别适合SAP SD模块用户及供应链管理人员参考。

chiman6219的博客 402

西门子精致面板TP1200 历史数据(历史数据、审计追踪) 移存到网络路径

TP1200 审计追踪

zhang080602的博客 5791

nrf52840的uart0与uart1双串口使用

nrf52840的uart0与uart1双串口使用 项目原使用nrf52832,后面由于项目需要用到双串口,改用nrf52840,官方的例程没看到使用uart1的,找遍全网都没找到uart1的使用资料,有些不负责任的网文居然说40也只有一个uart,吓得俺赶紧又查看了一次datesheet,O得K、木鸭梨 SDK代码uart驱动中,搜索到uart1的驱动部分,说明官方驱动有uart1支持的 自己动手,丰衣足食吧,下面以nRF5_SDK_17.0.0_9d13099版本,在examples\ble_per

chhen168的博客 5631

基于STM32设计的智能家居控制系统(华为云)_363

本项目设计并实现了一种基于STM32的智能家居控制系统,融合了语音识别、远程控制、环境监测与安全报警等功能。系统以STM32F103C8T6单片机为核心控制器,集成ESP8266 Wi-Fi模块实现与华为云IOT物联网平台的数据交互,采用MQTT协议进行通信。用户可通过语音识别模块控制风扇、空调、窗帘、卧室灯、客厅灯和电视等家电的开关操作,同时也可通过Android手机APP或Windows电脑上位机进行远程控制。系统还具备温湿度、光照强度、烟雾浓度和火焰检测功能,当检测到异常情况时,自动触发蜂鸣器报警并向

888

开心消消乐

1)当点击一个1时,该1变被反转为0,同时相邻的上、下、左、右,以及左上、左下、右上、右下8个方向的1(如果存在1)均会自动反转为0;2)进一步地,一个位置上的1被反转为0时,与其相邻的8个方向的1(如果存在1)均会自动反转为0;上述样例中,四个角上的1均在中间的1的相邻8个方向上,因此只需要点击一次即可。给定一个N行M列的二维矩阵,矩阵中每个位置的数字取值为0或1。在上述4 * 4的矩阵中,只需要点击2次,即可将所有的1进行消除。接下来N行表示矩阵的初始值,每行均为M个数,取值范围[0,1]

面试高手的博客 2737

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: ProtoMotions 3 入门教程(一)开源 GPU 加速人形机器人强化学习仿真训练框架
下一篇: LeRobot 宇树人形机器人 G1 部署 GR00T 运动策略
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

具身智能与人形机器人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址