文字 / 理解通道画面 / 生成通道动作物理执行红色箭头:语言进入动作的唯一路径
这张图对诊断意味着什么
1. 文字表示与画面无关。理解通道只做因果自注意力,看不到画面。所以不管牛奶在原位还是被移远,“牛奶”这个词在 36 层里的表示都是同一份。“文字没读懂画面”不可能是原因;问题只能出在生成通道怎么使用这份文字。
2. 语言只有一个入口。每层生成通道的注意力里,动作和画面 token 用自己的 Q 去读文字的 K/V。之后画面和动作走的是独立的 mlp_moe_gen。如果“抓哪个物体”是靠画面 token 之间的注意力(动作读当前画面、读未来画面)决定的,文字那一小部分 K/V 很容易被盖过去。
3. 动作会读模型自己预测的未来画面。未来画面和动作在同一序列里一起去噪。如果预测的未来画面里,机械臂已经朝奶酪盒的位置走,动作 token 读到的也是这个画面。所以要区分两种可能:目标是由“当前画面+文字”决定的,还是由“自己想象出来的未来”锁定的。