❯ 杨立昆团队发布分层世界模型 H-JEPA，三层结构把迷宫任务成功率从 18% 提高到 73%

让模型分层做计划杨立昆等五位作者 10 月 5 日在 arXiv 发表论文 H-JEPA，提出一种分层的世界模型，用于让机器人根据画面做长程规划。世界模型指能预测“采取某个动作后环境会变成什么样”的模型。据 36 氪介绍，论文由杨立昆创办的 AMI 公司与纽约大学、法国国家信息与自动化研究所、布朗大学的研究人员共同完成。

高层定方向，低层出动作H-JEPA 把多个 JEPA 模型叠起来。每一层都不生成画面，而是在自己学到的抽象表示里预测未来，层级越高，预测的时间跨度越长。规划时从上往下进行：最高层决定朝目标推进的大致路线，它的预测成为下一层的子目标，逐层细化，直到最底层给出具体动作。论文说，高层会丢掉变化快、难以预测的细节，保留变化慢、与任务相关的状态。

迷宫里的成绩在四个模拟的导航和操作环境中，分层规划的表现都好于单层 JEPA。在 Visual AntMaze 迷宫任务上，三层结构把成功率从 18% 提高到 73%，规划用的计算量反而更少。层数并不是越多越好：据 36 氪转述，在 Push-T 任务上两层效果最好，加到三层或四层后成绩下降。团队已经公开了代码和预训练权重。

离真实机器人还有一段路论文也在真实机器人的视频数据集 DROID 上做了验证，分层结构提高了离线规划的准确度，但这仍是离线评估，不是让机器人实际完成任务。AMI 今年 3 月完成 10.3 亿美元融资，目前还没有公开的产品。这篇论文是它少数公开的技术进展之一，外界可以借此判断这条不走大语言模型的路线推进到了哪一步。

▮ SIGNAL长任务难在误差一步步累积，这篇论文的解法是先在更粗的时间尺度上定方向，再往下拆，而不是让模型一步一步试。