libero-camera-ablation

四个机器人策略在 LIBERO-Spatial 上的相机输入消融

四个策略里有三个离开实时相机画面就无法完成任务;一个公开的 π0 权重在所有相机涂黑后仍有 53–56% 的成功率。做消融之前,先复现了五个公开权重。

01

相机消融

LIBERO 上的策略收到两路相机画面、机械臂状态和一句任务指令。每个实验只改相机输入。

每次运行 100 回合(10 个任务 × 10 个初始状态,同一个种子)。只算抽样误差,两个条件要相差约 13 个百分点以上才有意义;对 π0,同一个条件跑两次最多相差 18 个百分点。

本节的 π0 是 LeRobot 的公开权重,500 回合的正常成功率是 73%。它训练不足,也没有官方的 π0 LIBERO 权重可以对照,所以下面的现象只说明这个权重,不代表所有 π0。

策略的输入,以及各实验改了哪一项

1.1所有相机涂黑

三个模型没有画面就完全不能动作,π0 仍有一半以上的回合成功。

正常画面 全涂黑

π0 各任务的成功次数(每个任务 10 回合):全涂黑后的失败集中在三个任务上。

1.2单路相机、噪声、冻结画面

π0.5 和 SmolVLA 需要实时画面;对 π0,只有两路相机都涂黑才有稳定的影响。

每格是 100 回合里的成功次数,每个条件跑了两次(同样的脚本、同一个种子)。噪声是标准差 0.1 的高斯噪声;冻结首帧指整个回合只给第一帧画面,这是真实的、分布内的画面。对 π0.5 和 SmolVLA,腕部相机比主视角更重要。π0 的单路相机、噪声、冻结条件两次相差 9 到 18,说明不了它依赖哪一路相机。只涂黑腕部相机又跑了三次,是 72、67 和 70。

1.3看不见的 π0 在成功的任务上走的是同一条路线

在全涂黑仍能成功的任务上,它的路线和看得见时在噪声内无法区分;在从未成功的任务 7 上,它走到了别处。两次运行都是这样。

π0 有无相机输入时的末端路线

各任务的末端路线差异(cm,动态时间规整后的平均点距)。整套比较跑了两次;标出的是全涂黑后成功不到一半的任务。

两次正常运行几乎重合的任务(第 1 次的任务 0–3,第 2 次的任务 0)是同一个种子下还没有分叉,不能反映噪声;其余任务上的噪声底线平均是 3.4 和 3.3 cm。全涂黑仍能成功的任务上,路线相差 2.8 和 3.2 cm。任务 9 第 1 次相差 7.8 cm,第 2 次只有 4.9 cm,不如任务 7 清楚。这种比较分不出策略是跟着碗走,还是每个任务重复一套动作;同一任务内碗的位置变化有多大,这里没有测。

02

复现结果

每个模型评测 500 回合,与原作者公布的基准对比。两个 95% 置信区间有重叠即算复现。

本仓库(横线 = 95% 置信区间) 原作者基准

SmolVLA 用的是只在 LIBERO-Spatial 上训练的公开权重,评测时 n_action_steps=10。把鼠标移到图上可以看基准出处。

LIBERO-Spatial 各任务成功率

每格是该任务 50 回合的成功率(%)。列标题是“拿起黑碗并放到盘子上”里碗的初始位置。

50%100%
03

回放

每个任务一段成功、一段失败的录像。全涂黑的录像是环境的真实渲染,模型当时收到的是黑图。