JustRUA

1.1Codex 与完整历史

官方 L3 harness（即 RoboProbe 中的 L3 Inspect EEF）直接调用模型 API，只保留最近两次观测的图像。我们在一个 Codex 会话^*里运行同样的循环，保留每张图像，并关闭 Codex 自带的工具。单独换成 Codex 反而让首轮得分下降，所以我们把提升归功于两者的组合。所有对比都沿用每回合 100 次决策的默认上限，只有最终的 JustRUA 取消了它。

1.2动作设计

运动时长。官方循环里，一整段运动执行完模型才能看到画面，所以一条不稳定的 CuRobo 规划可能把机械臂带出很远。我们让每段运动在 20 个控制步后停下。像动作分块那样让模型在 3 到 32 步之间自己选（ACT、Astranomy），效果并没有更好，所以 JustRUA 保留固定上限。

其他动作接口。近期系统用到的两种替代方案都没有胜过绝对目标。相对目标即相对于实测位姿的偏移，RoboDawn 用的就是这种方式。它的得分更低，Astranomy 也有同样的发现，而且机械臂撞到物体的次数接近原来的三倍。模型读到的坐标全都在世界坐标系下，所以用偏移量可能意味着每次移动前都要多做一次减法。

语义操作用命名技能代替原始目标，SayCan 和 Code as Policies 都是这种做法。我们的语义操作构建在 move_eef 之上，没有新增控制代码或学习得到的策略。它们改变的更多是模型做了什么，而不是做得多好。模型调整相机的次数是原来的三倍多，手里的东西也掉得更多，得分没有提高。

移动序列。 每次决策最多执行四次移动，得分有所提高，主要是因为缓解了 100 次决策的预算。JustRUA 的最终配置则直接取消了这一预算。

1.3推理强度

默认的中等强度总分最高。低强度丢掉了大部分精度得分，高强度则以更高的成本用精度换来了记忆。

2.1示范

在上下文里放示范，是帮助 GPT-6 Astra 的常见做法（SenseNova）。两个版本都取自 RoboDawn 中每个任务一条经专家筛选的成功回合，在第一次决策前插入一次。视觉示范展示它的 16 张关键帧，文本轨迹则把同一个回合按阶段写出来，用我们的坐标给出位姿、指令和结果。

评测集	默认	视觉示范	文本轨迹
泛化	42.5	41.0	40.3
精度	25.0	22.8	11.6
长时程	24.7	28.9	28.3
记忆	49.6	70.0	55.4
开放	48.1	36.6	40.3
总分	38.0	39.9	35.2
每回合成本	$4.94	$5.11	$5.84
行为，首轮
借桌面中转的交接	9	15	13
物体掉落	26	20	17
双臂互撞	6	0	0
空抓	47	50	53

每个首轮回合的成本。

视觉示范 文本轨迹

make_kong 中模型在第一次决策前看到的 16 张关键帧，来自头部相机。

1. 1
2. 2
3. 3
4. 4
5. 5
6. 6
7. 7
8. 8
9. 9
10. 10
11. 11
12. 12
13. 13
14. 14
15. 15
16. 16

有三个任务还包含作者的腕部相机视图。不附带任何动作轨迹或机器人状态。

同一回合 40 个阶段中的五个。交接只以坐标的形式出现。

Stage 26 (source turn 28, control step 1522):
left: pose=[-0.4,-0.05,0.9079,0.0,0.0,90.0]; opening=0.78
right: pose=[0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=0.18
Source event: LEFT arm closed on an object with the fingertips at z = 81.3 (still holding it).
1. left move x +20.0 => nominal left target_pose=[-0.2,-0.05,0.9079,0.0,0.0,90.0]; result=ok
2. left move x +20.0 => nominal left target_pose=[0.0,-0.05,0.9079,0.0,0.0,90.0]; result=FAILED
3. left move y -18.0 => nominal left target_pose=[0.0,-0.23,0.9079,0.0,0.0,90.0]; result=ok
Source failed commands: ["left move x +20.0"]

Stage 27 (source turn 31, control step 1642):
left: pose=[-0.001,-0.23,0.7789,0.0,0.0,90.0]; opening=0.78
right: pose=[0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=0.18
Source event: LEFT arm closed on an object with the fingertips at z = 81.3 (still holding it).
1. left gripper 1.00 => left_gripper=1; result=ok

Stage 28 (source turn 32, control step 1656):
left: pose=[-0.001,-0.23,0.7789,0.0,0.0,90.0]; opening=1
right: pose=[0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=0.18
1. left move z +12.0 => nominal left target_pose=[-0.001,-0.23,0.8989,0.0,0.0,90.0]; result=ok
2. left home => nominal left target_pose=[-0.3,-0.2019,0.922,90.0,0.0,0.0] (return to the demonstration initial pose; source joint fallback is not available); result=ok

Stage 29 (source turn 33, control step 1892):
left: pose=[-0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=1
right: pose=[0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=0.18
1. right gripper 1.00 => right_gripper=1; result=ok
2. right point down => nominal right target_pose=[0.3,-0.207,0.9169,0.0,0.0,0.0]; result=ok
3. right move x -20.0 => nominal right target_pose=[0.1,-0.207,0.9169,0.0,0.0,0.0]; result=ok
4. right move x -10.1 => nominal right target_pose=[-0.001,-0.207,0.9169,0.0,0.0,0.0]; result=ok

Stage 30 (source turn 36, control step 2052):
left: pose=[-0.3,-0.2019,0.922,90.0,0.0,0.0]; opening=1
right: pose=[-0.001,-0.208,0.7759,0.0,0.0,0.0]; opening=1
1. right gripper 0.00 => right_gripper=0; result=ok

每个任务平均约 16,000 个字符，注入一次并保留在对话中。

2.2自我改进循环

有几个 RoboDojo 参赛系统会自己编写技能来改进自身（EmbodiedEvo、SenseNova-RoboRSI）。在这里，一个 Codex 智能体从 RoboDawn 示范出发，在 move_eef 之上编写额外的操作，并附上何时使用它们的指南。42 个任务分成五组。每一轮模型在其中一组上运行这个库，智能体再查看得分、日志和视频，修订这个库。整个过程没有人工修改，也不按任务存储或查找任何内容。

place(..., release_after_lowering=false)
grasp(..., close_after_approach=false)
insert(arm, entry_point, tip_offset, axis, standoff, depth, advance)

place(..., retreat_direction={x, y, z})
pivot(arm, feature_offset, target_orientation, feature_shift)

tap(arm, target_point, feature_offset, axis, clearance, activate)
guide: "record attempted contact separately from verified activation"

transport(..., max_segment_length=<metres>, carry_after_lift=false)

hold(cycles, note)

这个库改变了模型的抓取方式，首轮中空抓更少，也没有出现双臂互撞。每个任务只练一次的情况下，它在见过的任务上比循环自己的运行略高，在评测集上和默认配置持平。报告有明显提升的系统，每个任务练习的次数要多得多（EmbodiedEvo、PhysRSI-eval）。自我改进循环有用，但见效慢。

3.1机器人读数

机器人读数是每个夹爪的基本传感器数值，包括手指位置和受力、接触力和腕部负载，不含物体真实位姿这类特权信息。

读数在抓取时帮助最大。默认接口只报告模型要求的夹爪开度，而读数给出手指实际到达的开度和每个指尖的受力。

insert_tubes，闭合之后	默认	有读数
夹爪开度，0 到 1	0.24	0.44 13.6 mm
接触力，N	未报告	24.9 / 24.5

手指停在 0.44，而不是指令要求的 0.24，并且两侧都在施力，说明管子已经夹住了。

读数的写法同样重要。写成完整 JSON 时，读数挤占了上下文，让许多回合进入了上下文压缩，所以 JustRUA 用一种简短的文本格式来写。

3.2深度

许多近期的智能体系统用深度在 3D 空间里定位物体（RoboHarness、GPT-GEAR、RAX），但 RoboDojo 排行榜不接受智能体参赛项使用模拟器深度，维护者在评审中明确说过这一点。我们同时测试了模拟器深度和 Depth Pro 只用 RGB 预测的深度。

预测出的距离偏差很大，即使给了真实焦距也差几十厘米。按机器人几何逐帧缩放有所改善，但缩放比例在帧与帧之间漂移，腕部相机也无法拟合，所以 JustRUA 直接传入原始预测。

0 m2 m 及以上

头部相机，桌面区域	平均绝对误差	皮尔逊 r	斯皮尔曼 ρ
原始预测	73.7 cm	0.993	0.992
使用真实焦距	40.1 cm	0.993	0.992
按机器人几何逐帧缩放	7.3 cm	0.993	0.992

图像来自 make_kong。表格对 make_kong 和 fill_egg_holder 的六帧头部相机图像取平均，与模拟器深度对比。缩放一帧不会改变两种相关系数。

3.3可供性

深度能告诉模型表面在哪里，但不能告诉它物体可以从哪里抓、哪只机械臂够得着。这类知识就是可供性。近期的智能体系统用专门的模型计算可供性（CLARO、ORA），而许多回合正是在抓取时出错，所以我们测试了直接把可供性交给模型。

对每个相机视角，GraspGen 为每个物体给出最多八个抓取位姿，逆运动学则标出每只机械臂能够到哪些表面。两者都画在图像上，文本里再列出抓取位姿。难点在于怎么呈现，因为往观测里加任何东西，要么占更多篇幅，要么挤占原有内容。

绘制可供性模拟器深度 · 3 张图像

绘制在每个相机视图上，不提供深度图。标记会遮住它们所指的像素。

绘制，附 RGB 和深度模拟器深度 · 9 张图像

干净的 RGB 和深度重新加入，因此每个相机视图出现三次。

绘制，附深度预测深度 · 6 张图像

深度由 RGB 预测，干净的 RGB 再次略去。

可供性面板预测深度 · 4 张图像

干净的 RGB 保持完整尺寸。其余六个视图缩小到 256 × 192 像素，放进一个面板，至多显示四个抓取候选。

insert_tubes 第一次决策时的头部相机图像。点击图像可放大。

与同一来源的深度图相比，四个版本都没有抓得更稳，得分也没有更高。可供性能起作用的时刻很少：交接仍然少见，抓取候选只在开始抓取时才有用，而它们的成本却伴随每一次观测。我们没有把可供性放进 JustRUA。

3.4坐标解算

在最后一步，模型还可以在会话里编写并运行代码¹，Code as Policies 和 URAI 也是这样做的，同时取消 100 次决策的上限。

几乎每次运行都用代码解算坐标：根据相机标定从像素发出射线，再用两个相机看到的同一点做三角测量，或者与已知高度的表面求交。代码从不读取深度图。因此代码相当于又一个场景几何的来源，这也是它归在这一维度下的原因。

在 insert_tubes 中，模型从像素定位管子和试管架上的孔，放好了全部三根管子。

¹ 网页搜索保持关闭，这样模型无法查到这个基准或它的解法。

4.1失败分类

4.2可能的改进

前三类原因各自指向一种通用的修正，但每一种都需要代价不小的额外知识。

修改任务提示词能解决提示词和评分方面的问题，把首轮得分从 54.0 提高到 55.6。其余问题需要逐个任务反复试错，接近在测试任务上调参。