解读"世界模型"之一：世界模型，和视频生成到底有什么不同？

一个AI能生成逼真的世界，不代表它真正理解这个世界。世界模型真正想解决的，是机器能不能预测接下来会发生什么，并据此做出正确的行动。

想象这样一个场景。

你把桌上的杯子轻轻推向边缘。杯子开始倾斜，掉落，在地面上弹了一下，最后碎成几块。

今天的AI可以生成一段非常逼真的视频：光线自然，运动流畅，杯子落地的瞬间甚至能让人产生身临其境的感觉。

关于本文

由先进开源智能体检索整理，并完成筛选、核实与写作。信息均基于公开论文、权威媒体报道及网络公开讨论进行客观分析，不构成对任何技术路线或产品的立场判断，亦不代表对行业最终格局的预判。如需转载、摘编或合作，请联系：电话：13522412591；邮箱：contact@xianjinai.cn。

但接下来，如果你让机器人完成同样的动作，问题就完全不同了。

机器人需要判断：杯子距离桌沿还有多远？推多大的力会让它掉下去？如果杯子是塑料的，结果会不会不一样？如果桌面倾斜了呢？如果杯子里装着水，又会发生什么？

更重要的是，机器人必须在行动之前预测这些结果。因为等它发现自己判断错了，杯子可能已经摔碎了。

这就引出了AI领域一个越来越重要的问题：AI究竟是在生成一个看起来合理的世界，还是在学习这个世界如何运行？

2026年6月，北京智源大会上，智源研究院院长王仲远用了一个更极端的例子——"一群猪能在天上和飞机一起飞吗？现实世界不行，但视频生成模型可以。因为它的训练数据里包含大量科幻电影内容，它的目标从来就不是还原真实物理世界的规律。"

这句话精准地揭示了一个根本困境：ChatGPT让AI学会了"遣词造句"，Sora展示了AI"脑补画面"的能力，但这一切仍是 "知其然不知其所以然" 。大模型的这种特性，在产业界正遭遇越来越明显的天花板：自动驾驶不敢在复杂路口完全放手，机器人在陌生环境中频频"翻车"。

世界模型试图填补的，就是这块空白。

一、视频生成越来越逼真，为什么还不够？

过去几年，生成式AI在图像和视频领域取得了显著进步。

给模型一段文字，它可以生成一片森林、一座城市，甚至是一场包含复杂人物动作的电影场景。给它一段视频，它还可以预测后续画面，让场景继续发展。

这些能力很重要。因为视频并不是静止图片的简单堆叠。要生成连贯的视频，模型必须学习大量视觉规律：物体通常如何移动，人物的动作如何衔接，光线和阴影怎样变化，以及前后画面之间应当保持怎样的关联。

从这个意义上说，视频生成模型已经在学习世界的一部分规律。

但问题在于：视觉上合理，不等于物理上准确；画面连续，也不等于因果关系正确。

举个例子。一辆汽车驶过镜头，随后转入一条街道。模型可能生成一段视觉效果很好的视频，汽车的运动看起来流畅，街道也很逼真。但如果我们把问题换成：如果汽车在这里突然刹车，会发生什么？如果路面结冰，制动距离会如何变化？如果一名行人从遮挡物后突然出现，汽车应该如何调整动作？

这些问题就不再只是生成画面的问题，而是涉及对环境状态、行动和结果之间关系的预测。

当然，视频生成模型并非不能回答这些问题。一些视频模型也在逐渐学习动作条件下的场景变化，部分研究更是直接将视频生成作为构建世界模型的技术路径。真正的区别，不是看模型有没有生成视频的能力，而是看它是否能够在特定任务中，根据当前状态和可能采取的行动，可靠地预测环境接下来会怎样变化。

这也引出了"世界模型"这个概念。

二、什么是世界模型？先从人类如何做决定说起

我们每天都在使用某种朴素的"世界模型"。

过马路时，我们会观察汽车的速度和距离，估计它是否会在自己走到路中间之前通过。倒水时，我们会根据杯子的大小、液体的流速和当前水位，调整手腕的角度。拿起一个陌生物体时，我们会先判断它大概有多重、表面是否光滑，再决定使用多大的力。

我们通常不会有意识地计算这些过程，但大脑一直在利用过去的经验，预测不同动作可能带来的结果。

世界模型试图让AI获得类似的能力。

在AI研究中，可以把世界模型粗略理解为：一种学习环境状态如何变化，并根据当前状态与可能采取的行动，预测未来结果的模型或模型系统。

这里有三个关键词。

第一，状态。模型需要掌握与任务有关的环境信息。这些信息可能包括物体的位置、速度、形状、空间关系，也可能包括摄像头暂时看不到的部分状态。对于机器人来说，关节位置、接触情况和物体受力也可能很重要。并不是所有世界模型都需要显式重建完整的三维世界，有些模型会在抽象的潜在空间中表示环境——只要这种表示保留了完成任务所需要的信息，就可能具有实用价值。

第二，变化。模型不能只理解当前画面，还要学习环境如何随时间演变。物体会移动，汽车会转向，门会打开，物品会因为碰撞而改变位置。

第三，行动。这也是世界模型与单纯场景描述之间一个重要的区别。模型需要考虑不同动作可能造成的后果。同样是一只杯子，机器人轻轻触碰它、用力推它、从侧面抓住它，可能得到完全不同的结果。

用一个简单的表达来概括：当前状态 + 候选行动 → 对未来结果的预测。

北京人形机器人创新中心CEO熊友军给出了一个更简洁的框架，清晰区分了三种模型的能力差异：传统VLM模型"会看会思考但不会动手"，VLA模型"会做但不会预演"，世界模型"会预演但不擅长长程推理" 。这个框架帮助我们看到，世界模型在能力谱系中的独特位置——它不是"更聪明的视频生成器"，也不是"更强的机器人控制器"，而是让AI学会"预演"的那一层。

两者的差异，可以这样对照：

三、真正的分水岭：模型能不能回答"如果我这样做，会怎样？"

假设桌上有一个红色积木。你希望机器人把它推到桌子的另一边。

对于一个主要关注视觉生成的模型，任务可以是生成一段机器人推动积木的视频。只要画面连贯、动作看起来自然，视频就可能达到不错的视觉效果。

但对于一个需要支持机器人行动的世界模型，仅仅生成一段看起来合理的视频还不够。它需要面对一系列更具体的问题：如果机器人从左侧推动，积木会向哪个方向移动？如果推动的力度增加一倍，移动距离是否会增加？如果积木与桌面的摩擦力变大，结果会不会不同？如果积木前方有另一个物体，它会停在哪里？

这些问题涉及一个关键能力：对不同可能行动进行条件化预测。我们可以把它理解为一种"假如……会怎样"的推演能力。

机器人可以利用模型预测几种动作的可能结果，再选择更符合目标的方案。模型不必真的让机器人执行每一种动作。它可以先在内部预测或模拟可能的结果，再把预测提供给规划系统。这也是世界模型受到重视的原因之一：它有可能让智能体不再完全依赖试错，而是能够在行动之前评估后果。

不过，这里必须加上一句重要的限定：能够生成不同动作对应的未来画面，不等于能够准确预测真实世界中的动作结果。模型可能生成视觉上很合理的结果，却没有正确掌握摩擦、碰撞或接触关系。它也可能在短时间内预测准确，但随着预测步数增加，误差逐渐累积。

因此，世界模型真正需要证明的，不是它能不能"想象未来"，而是这种预测在什么条件下可靠，能否帮助智能体完成现实任务。

四、为什么物理常识这么难学？

既然人类可以凭经验判断杯子会掉落、汽车会转弯，为什么AI不能直接从海量视频中学会这些规律？

答案是：视觉数据确实包含大量物理信息，但它并不总能完整呈现产生这些结果的原因。

第一，画面只展示了可见结果，不一定展示全部原因。视频中的杯子向前滑动，但模型未必知道桌面摩擦力是多少、杯子有多重，也未必能判断推动它的力来自哪里。两个外观几乎相同的场景，可能因为隐藏条件不同而产生不同结果。

第二，物理规律往往需要通过干预才能更好地辨别。只观察一只杯子落地，模型可以学到许多视觉模式。但如果想知道杯子的材质、落地高度和地面性质分别如何影响结果，就需要足够多的相关变化，或者引入其他结构化信息。

第三，长时间预测比短时间预测难得多。模型预测下一帧画面，可能表现不错；连续预测几十步、几百步，情况就可能不同。微小的误差可能不断累积，物体的位置逐渐偏离，场景中的关系也可能变得不一致。

第四，真实世界不仅有几何，还有接触、力和不确定性。看见一个物体，不等于知道它有多重；知道物体的位置，不等于知道它是否容易滑动；预测一个机械臂的轨迹，也不等于能准确预测它接触物体后的受力变化。

上海人工智能实验室联合多家机构在2026年发布的一项系统性研究显示：当前视频生成模型在多项经典物理场景测试中表现远低于预期——物体恒存性、刚体碰撞、重力抛物线、稳定支撑关系等维度上的错误率普遍高于30%。更值得注意的是，视觉真实感的提升并未带来物理理解能力的同步改善。研究结论直接指出：这些模型"对物理规律的编码停留在统计关联层面，缺乏因果层面的表征"。

这意味着，即便未来视频生成模型能生成以假乱真的世界，它距离真正理解物理规律仍有本质差距。换句话说，世界模型面临的挑战不是简单地把世界"看得更清楚"，而是要学会哪些信息对未来变化有决定性影响。

五、世界模型一定要生成视频吗？

不一定。这是理解这个概念时容易忽略的一点。

我们很容易把世界模型想象成一个能够持续生成未来画面的AI：输入当前场景，模型就像播放电影一样，生成未来几秒甚至几分钟的画面。这确实是一种可能的实现方式。视频形式直观，也方便人类检查预测结果。

但是，画面并不是预测世界的唯一方式。对于某些机器人任务，模型可能只需要预测物体未来的位置、机器人的状态变化，以及不同动作的成功概率。它不一定需要把每个像素都生成出来。还有一些研究尝试在潜在空间中预测未来——模型不直接重建所有画面，而是预测一种经过学习的内部表示。

如果模型没有生成漂亮的视频，却能够准确预测物体的位置变化，并帮助机器人完成抓取任务，它仍然可能是有价值的世界模型。反过来，如果一个模型能够生成极其逼真的视频，却无法可靠地预测动作后果，那么它的视觉表现再好，也不能单凭这一点证明它具备可靠的世界建模能力。

所以，评价世界模型时，不能只看生成质量。更值得关注的是几个问题：

这些指标之间并不总是一致。一个模型可能在视频质量上表现突出，却在控制任务中表现一般；另一个模型可能不擅长生成完整画面，却能在特定规划任务中发挥作用。

因此，世界模型没有一个可以脱离具体任务、适用于所有系统的单一排行榜。

六、视频生成会成为世界模型的基础吗？

有可能，而且两者之间的技术边界并不是固定不变的。视频包含丰富的时空信息。通过大规模视频训练，模型有机会学习物体运动、场景变化、人物行为和环境中的统计规律。如果进一步让模型接收动作条件，并针对未来状态预测进行训练，就可能逐渐获得更强的环境预测能力。

但这条路仍然有不少难题。模型可能知道某种动作通常对应怎样的画面，却不知道在新的环境中改变动作会产生什么后果。它可能生成符合视觉经验的未来，却忽略某些关键物理约束。它也可能在熟悉的场景中表现良好，一旦遇到罕见的接触关系、复杂遮挡或长时序任务，就出现明显误差。

与此同时，潜在空间预测、三维空间表示和物理仿真等方法，也可能为世界模型提供不同的能力。未来的系统甚至可能把这些方法组合起来：用视觉模型理解环境，用潜在状态表示压缩信息，用物理仿真补充可控的动力学规律，再通过真实任务数据检验预测结果。

究竟哪种组合更有效，还需要具体任务和可靠评测来回答。这也意味着，我们现在不应该急着把某一种技术路线宣布为最终赢家。

七、判断世界模型，别只看它生成的世界有多逼真

回到文章开头的那个杯子。一个视频模型可以生成杯子掉落、碰撞、破碎的全过程，而且画面非常逼真。但如果我们希望机器人真的去推这个杯子，就必须进一步追问：它能否预测不同力度会带来什么结果？它能否识别自己不确定的情况？它能否在环境发生变化时调整预测？它能否利用这些预测，选择更安全、更有效的动作？

如果这些能力得到验证，那么模型才真正展现出对现实任务有价值的世界建模能力。这不意味着视频生成没有价值，也不意味着世界模型已经解决了物理理解的问题。恰恰相反，世界模型之所以值得关注，就是因为它试图把AI从视觉上的合理性，进一步推向对环境变化的预测与行动支持。

生成一个看起来真实的世界，是让机器呈现世界；预测一个可能发生的世界，是让机器尝试理解世界如何变化。

两者并非泾渭分明，却代表着不同的能力目标。如果我们把世界模型看成一场竞争，那么关键就不是谁生成的画面最漂亮，而是谁能在明确的任务和现实约束下，更可靠地预测行动后果，并把这种预测转化为实际能力。

但下一个问题也随之出现：既然大家都想让AI学会预测世界，为什么有人选择从视频入手，有人选择潜在空间，有人研究三维场景，还有人依赖物理仿真？

下篇预告：世界模型究竟有哪些技术路线？它们分别在逼近什么，又各自卡在什么地方？下一篇，我们就来拆解四条主要技术路线，看看谁正在真正逼近我们所说的"物理常识"。