我们改了哪里?效果如何?

π / OpenVLA / Cosmos 网络结构 ↗ · 返回实验站首页 ↗

01 · π₀.₅

① 动作专家 · L16
π0.5 官方论文图3:左为预训练,右为推理结构,右侧 action expert 被橙框标出
1

为什么选 L16?

为什么选 L16?选层证据图
改法:L16 加固定向量:抓对状态 − 抓错状态。
原桌面+橙汁移位 · 指令:拿橙汁
改之前
0 / 6
4 次黄油、1 次奶酪、1 次未抓起
→
L16 修正后
5 / 6
5 次橙汁、1 次未抓起
相近布局:0/4 → 4/4官方场景:4/4 → 0/4

补充:把 Cosmos 的差分方法用到 π

L16 · 在线差分

每步重算:橙汁状态 +(倍率 − 1)×(橙汁状态 − 黄油状态)。

方法抓对橙汁其余结果
原模型0/33 次黄油
黄油参照 ×1(不放大)0/33 次黄油
黄油参照 ×1.31/32 次黄油
黄油参照 ×1.52/31 次黄油
黄油参照 ×23/3无
黄油参照 ×33/3无
空参照 ×1.30/33 次黄油

查看动作对比 ▶

02 · Cosmos 3

② 生成分支 · L12–15
Cosmos 3 官方论文图5:理解和生成双分支共享注意力,生成分支用橙框标出
2

为什么选 L12–15?

为什么选 L12–15?选层证据图
改法:同图、同噪声,两句指令相减:
新状态 = 牛奶状态 + 0.3 ×(牛奶状态 − 奶酪状态)
pilot1 · 牛奶移远 15cm · 指令:拿牛奶
默认推理 · 相同 8 个种子
2 / 8
另外 6 次抓奶酪
→
奶酪参照+隐层干预
7 / 8
抓对牛奶;1 次未抓起
动作输出 CAG · 空参照:最好 2/8种子:1198–1898,间隔 100

补充 · 二维 PushT 的位置读取入口

位置变化对动作的影响集中在少数入口,但尚未修复任务。

冻结 U-Net 和 Transformer,每次只把一个入口换回移动前图像的信息,观察生成动作的变化。

PushT接口效应热图:横轴为图像条件入口编号,纵轴为示范进度20%、40%、60%、80%;左列只移终点,右列整体平移

横轴:图像条件入口编号;纵轴:示范进度。越红,换回原图后削弱的动作响应越多;不是成功率。

只移终点:U-Net 第4号、Transformer 第0号入口在四阶段均值都最强。整体平移:U-Net 的影响更分散,第0、1、4号入口都较突出。

78个观测、18个源示范组、两个种子。U-Net 部分阶段的领先差异不明确;只保留最强入口也不能复现完整动作变化。

数据与置信区间 · 方法与代码