notebookLM: https://notebooklm.google.com/notebook/e1592e9f-20f1-4d87-9c8e-0b80ed24b6a4
内有太长不看版的音频讲解

导论：为什么“像一个世界”还不是世界模型

全书概念界定与方法说明

一只玻璃杯放在桌边。一只手伸进画面，手指碰到杯壁。杯子倾倒，落下，撞击地面。水泼向一侧，碎片在灯光下闪动。人物后退半步，低头看着地面。假如这一小段影像由模型生成，而且每个动作都自然，杯子的反光、手指的阴影、水的运动和人物的反应都没有明显破绽，我们很容易说：模型似乎知道杯子会碎，也知道人会躲开碎片。

可是一旦把问题稍微改动，判断就不再那么容易。杯子在落地前被桌沿挡住两帧，它是否仍是原来那只杯子？如果手没有碰杯，杯子还会不会倒？换一只较厚的塑料杯，模型会保留“跌落”这个过程，却改变“破碎”这个结果吗？人物走出画面以后，杯子的碎片是否仍留在地上？摄像机绕到桌子另一侧，碎片的位置能否与先前相容？如果一个机器人要从现场通过，它能否根据这些信息选择不踩到碎片的路线？再加入另一个人，两人是否会看到同一片地面、移动同一把扫帚，并对已经清理过的区域保持一致记录？

这些问题不是在为一段短视频挑刺。它们把同一段影像拆成了几种不同的能力。第一种能力是生成可观看的观察：让画面在视觉和时间上可信。第二种能力是维持某种环境状态：杯子即使暂时不可见，也没有无故消失。第三种能力是表示状态转移：触碰、倾倒、撞击和破碎之间不是任意排列。第四种能力是响应行动：换一个动作，后果也随之改变。再往后还有空间持存、长时记忆、身体反馈和多主体相互验证。它们可能由同一套大模型部分承担，也可能分散在不同系统中；一种能力的成功不能自动替另一种能力作证。

本书从这个区分开始。视频生成模型和世界模型确实彼此接近：它们都从大量时空数据中学习，都必须处理对象、运动、遮挡、场景和变化，也都可能生成尚未发生的过程。然而，“接近”并非就是“相同”。前者最直接的产物通常是观察，后者所指向的则可能是状态、预测、模拟、规划或可持续空间。二者之间存在多条桥梁，却没有一条不经检验便成立的必然道路。

图导-1　从可观看观察到共同世界。图中依次列出观察生成、状态表示、时间与空间持续、行动、因果、具身关系和共同性。它是一组逐步增强的主张，不表示模型必然沿单一路径演化。

一　一个词为何突然变得拥挤

“世界模型”不是最近才出现的说法。人们很早就用内部模型来解释动物或机器如何预测环境、比较行动、避免把每一次试错都放到现实中执行。2018 年的《World Models》把这一思路做成了一个醒目的神经网络案例：系统压缩视觉观察，学习随动作变化的内部动力学，再让控制器利用内部生成的过程完成任务。¹ 这里的“世界”范围很窄，它是围绕特定游戏环境和控制目标形成的可用模型，并不是现实整体的数字副本。

此后，这个词进入了越来越多的研究路线。Dreamer 在学习到的潜在动力学中展开轨迹，用这些轨迹训练行动策略。MuZero 不要求重建环境画面，而是学习搜索所需的奖励、价值与策略信息。JEPA 路线把预测目标从像素移到表示空间，希望保留较稳定、较可预测的结构。空间智能研究则要求系统生成或重建可从新视角进入、返回和编辑的三维环境。² 这些系统分享“根据有限证据形成内部结构，并让它支持未来任务”这一宽泛家族相似性，却不共享一种固定输出，也不承担同样的验证责任。

视频生成又让这个词更拥挤。2024 年，OpenAI 在介绍 Sora 的技术报告时使用了“作为世界模拟器的视频生成模型”这一标题，并把扩大视频生成规模称为通向通用物理世界模拟器的一条有希望的道路。报告展示了时空潜在块、扩散 Transformer、长视频依赖和若干看似涌现的三维一致性，同时也明确列出物理交互、状态变化和长时一致方面的失败。更重要的是，报告对能力的判断主要来自定性样例，且没有公开完整的模型和实现细节。³ 因而，这份报告适合支持一项研究假说：大规模视频学习可能获得部分世界结构；它不足以单独证明一个通用模拟器已经形成。

这里容易发生一种语义滑移。我们先看到影像“像一个世界”，继而把“像”省略，直接称它为世界。标题、产品演示和日常语言都鼓励这种省略，因为“世界模型”比“能在若干条件下生成高保真时序观察的系统”简洁得多。工程讨论当然需要简洁的名称，问题在于名称会暗中携带额外承诺。当一个系统被称为世界模型时，听者可能以为它维持了画面外的对象，掌握了动作后果，能够从新的位置继续观察，也能够供机器人规划。实际公开的证据有时只证明了其中一项，甚至只证明人类观看者觉得结果可信。

另一种相反的做法也同样草率：因为视频生成的直接目标是画面，就断言它永远不可能形成世界结构。训练数据中的影像不是彼此无关的色块。物体的运动、遮挡、重力、相机变化、人的动作以及拍摄和剪辑惯例，都在数据中留下统计约束。为了生成较长、较复杂的视频，模型很可能需要捕捉其中一部分。某些内部表示也可能被重新用于预测、控制或三维任务。AVID 一类研究恰好说明了这座桥的现实可能：研究者给预训练视频扩散模型增加动作条件，使它从自由生成观察转向估计特定行动后的视觉结果。⁴ 但桥梁之所以值得研究，正因为两岸原本并不相同。若视频模型天然就是行动型世界模型，“适配”以及与之配套的新数据、新接口和新评测便没有必要。

所以，本书既不把“世界模型”当作一种神秘资格，也不急于取消这个行业通称。我们保留它，但每次使用时都追问：模型接收什么，保留什么，产生什么，供谁使用，又用什么证据检验？一个名称只有被还原成这些具体问题，才重新获得分析价值。

这不是纯粹的术语洁癖。名称会影响研究者选择什么数据、什么接口和什么失败标准。若把任务叫作视频生成，最自然的训练材料是大量影像，最直观的评审者是观看者，系统失败往往表现为闪烁、变形或不符合提示。若把任务叫作机器人世界模型，动作标注、传感器状态和真实执行结果就变得重要，失败也可能表现为策略在模型中成功、在现实中碰撞。两者可以共享同一个视频编码器，甚至共享大部分参数，但新增的动作接口与验证回路仍改变了系统所承担的主张。分类的意义不在划定不可穿越的边境，而在防止一处成功被不加说明地转移到另一处。

二　视频生成首先交付观察

假设有人委托一个模型制作十秒广告：雨夜里，一辆红色汽车经过路口，轮胎压过积水，店铺霓虹在车身上移动。委托人首先检查的是成片。汽车是否保持红色，轮子是否正常转动，水花是否与速度相称，镜头是否稳定，画面是否符合文字要求。模型内部是否显式保存了汽车的质量、轮胎与路面的摩擦系数、街道的三维地图，通常不在交付条件之内。只要输出满足观看、传播或编辑的需要，任务就可能成功。

这种交付条件可以称为输出合同。它不是法律合同，而是一个系统在被评价时实际承诺的产物。视频生成模型的典型输出合同，是在文本、图像、声音或既有视频等条件下，产生可观看的时序感知材料。所谓“可观看”，并不只是单帧漂亮。它还包括主体外观、运动连贯、镜头关系、光影变化、声音同步和指令跟随。现代视频模型之所以比静态图像模型困难，正因为后一帧不能只在自身范围内合理，还必须与先前已经发生的内容相容。⁵

但观察永远从某个位置、某种感官或传感器、某一时刻出现。摄像机看到杯子的正面，看不到背面；听见玻璃落地的声音，并非就是测得碎片的形状；一段剪辑完成的视频还可能跳过事件中间部分。观察可以极其逼真，仍然只是环境在特定条件下显现的一个侧面。

状态则是另一种东西。工程中的“状态”不是固态、液态的那个“状态”，也不必等于现实中全部事实的完整清单。它是系统为了说明当前情况、预测后续变化或选择行动而保留的一组变量或表示。同一辆车可以从路边摄像头、车内摄像头和俯视摄像头呈现为三种图像，却仍对应一个相互关联的环境状态。反过来，两张几乎相同的道路照片可能包含不同状态，因为其中一辆车正在加速，另一辆正在制动，而单帧外观没有把速度直接显示出来。

观察与状态之间因此存在两个方向的差异。一个状态能够产生多种观察：改变视角、光照或传感器，画面随之改变。一个观察也可能与多种状态相容：被门挡住的房间里可能有人，也可能没有；球滚到桌后，可能继续运动，也可能已经停下。对观看者而言，生成器可以从多种可能中选出一种流畅结果。对行动者而言，未被选中的可能性也很重要。无人车不能只生成一条看起来合理的未来，然后把被卡车遮住的行人从风险中删除。

动作又给这种差异增加了一层约束。自由视频生成问“此后可能出现什么”，答案可以有许多种；行动条件模型问“在当前证据下，如果执行这个动作，此后会怎样”，它必须让不同动作产生可比较的分支。机器人向左推杯子和向右推杯子，结果不能只服从训练视频中最常见的运动方向。更严格的检验还会问未执行的动作：如果没有推，杯子是否保持原状？如果只改变桌面倾角，运动是否相应改变？这种反事实要求不会由一条漂亮的既成视频自动满足。它需要系统在同一状态附近保留差异，并让差异随干预有规则地展开。

这并不意味着观察生成只是表面工作。要使十秒广告成立，模型必须处理大量约束；要使一分钟、多镜头或音视频联合内容成立，约束还会迅速增加。观察本身也是世界的一部分，是人和机器获得环境证据的重要形式。问题只在于，观察层证据能证明到哪里。高分辨率可以证明输出细节，平滑运动可以证明某种短时连续，多镜头身份保持可以证明跨镜头条件控制。它们不能单独证明画面之外存在可查询状态，也不能证明系统在行动改变后仍维持同一套后果关系。

2026 年一篇面向具身决策的世界模型评测立场论文把这个问题称为“主张与证据的错配”。作者区分了从视觉可信到策略优化效用的多个证据层级：画面逼真、物理看似合理、动作后果正确、规划成功和策略真正获得改进，分别回答不同问题。⁶ 这不是说低层证据没有价值，而是说证据不能越级。电影级画面支持电影级画面的主张；若要进一步声称系统能用于机器人决策，就要观察干预、长时展开、分布变化、策略排序和闭环执行。

同理，一个画面不够漂亮的模型也可能是有用的世界模型。控制系统有时只需保留物体位置、速度、奖励和危险区域，根本不必生成可供人观看的纹理。若它能可靠地预测候选动作的后果并帮助行动者完成任务，画质欠佳不构成决定性反例。由此可见，“像不像”与“能不能用于某种世界任务”是两组相交而不重合的问题。

三　世界模型是若干功能主张

我们可以再看一个普通场景。厨房里，水壶正在加热，猫走到桌下，钥匙被放进抽屉，一个人准备出门。若系统只要生成下一段厨房视频，它可以选择一种常见延续：水壶冒出蒸汽，人拿起外套，猫从桌下钻出来。只要这一延续自然，观看任务便已完成。

若系统要帮助人找钥匙，它必须在钥匙离开视野后仍保留其位置。若它要控制机械臂关闭水壶，就必须区分水壶、底座、开关以及手臂动作的后果。若它要规划猫不会被门夹到的路线，还要估计猫的运动和不确定性。若几个人从不同房间协作整理厨房，系统又必须让他们对钥匙、水壶和已经完成的动作保有可相互核查的记录。这里没有一个瞬间，影像忽然越过门槛，变成完整世界；只有任务不断增加，而系统为任务承担的状态承诺也随之增加。

因此，本书不把世界模型定义为单一模型架构，而把它视为一组功能主张。为了在全书中保持可比性，我们采用五种工作形态。它们不是从低到高的荣誉等级，也不是互斥的产品目录。一个系统可以同时占据几类，也可以在一类中很强、在另一类中很弱。

工作形态	主要问题	典型输出或检验	不能仅由此推出
观察生成器	世界从某个条件下看起来怎样？	视频、声音、视图序列；观看质量	稳定状态、行动可用性或因果结构
表示预测器	接下来哪些相关结构会出现？	未来表示、遮挡内容、潜在预测	完整空间或可交互环境
行动动力学模型	做某个动作会怎样？	动作后的状态或观察、反事实分支	长期持存的开放世界
空间环境模型	能否进入、转视、返回和编辑？	多视角一致、导航、三维状态	正确物理、具身性或社会共同性
多主体经验世界	多个行动者能否共同改变和验证？	共享历史、局部视角、相互行动	与现实等同或具备人的全部经验

近期研究机构也在尝试清理这个拥挤术语。World Labs 在 2026 年 6 月发表的文章中，以输出合同区分渲染器、模拟器和规划器：渲染器交付观察，模拟器交付可计算的结构状态，规划器交付行动。⁷ 这种三分法很有启发，但它是该机构提出的一套功能分类，不是已经统一的学界标准。本书的五种形态把表示预测、空间持存和多主体共同性另外展开，是为了让哲学问题和工程证据能够逐项对应，而不是宣布另一套唯一正确的命名。

从这五种形态回看几个常见名称，差别会更清楚。《World Models》、Dreamer 和 MuZero 关心的是内部状态怎样帮助控制或规划，即使系统不交付漂亮画面。JEPA 关心的是表示空间中哪些内容值得预测，而不是复原所有像素。空间智能路线关心的是场景能否跨视角持续、能否被进入和编辑。视频生成路线则首先把越来越长、越来越复杂的观察做得可信。它们会彼此借用数据、编码器、生成机制和评测方法，未来也很可能在一个系统中组合。但组合并非就是差异消失。恰恰相反，系统越复杂，越需要知道某项能力由哪种训练目标产生，又在哪一种测试中得到证明。

这种功能观点还改变了“失败”的含义。杯子在视频里短暂变形，对广告生成可能只是局部瑕疵；杯子在机械臂规划状态中消失，则可能导致碰撞。三维场景的纹理粗糙，可能不妨碍导航；几何关系在返回房间后改变，却会破坏空间持存。MuZero 式系统不保存棋盘材质，对赢棋没有影响；同样的抽象若忽略机器人将要抓取的物体材质，可能就漏掉重量、摩擦或易碎性。没有脱离用途而绝对充分的状态，也没有脱离主张而绝对严重的错误。

世界模型于是不能只用一个总分衡量。至少要分别考察观察生成、状态表示、时间持续、空间一致、行动响应、因果与反事实、具身行动可能性以及多主体共同性。这里提前列出这些维度，只是说明全书的方向；它们的定义、相互关系和可操作测试将在后文逐步建立。我们不会把各维分数简单相加，更不会用一张雷达图的面积表示某个系统“拥有多少世界”。能力来自具体协议，协议之外的空白仍是空白。

五种形态也不是一座只能向上攀登的阶梯。一个电影制作工具可能需要极强的观察生成、多镜头控制和声音同步，却没有理由为机器人规划牺牲画面质量。一个棋类规划模型可能在行动后果上非常可靠，却不需要空间导航或逼真渲染。把前者列为“低级世界模型”、后者列为“高级世界模型”，会把用途差异误写成单一进步方向。只有当系统声称服务于更广泛的环境任务时，缺失的能力才构成相应限制。功能分类应当帮助我们比较承诺，而不是为模型排出一条哲学等级。

四　康德提供的是问题，不是架构

为什么一本讨论视频生成和世界模型的书要从康德出发？一个简便但错误的回答是：康德早已预言神经网络，所谓先验形式对应模型的结构，综合对应注意力，图式对应潜在动力学，统觉则对应某个全局状态。这样的写法会制造短暂的熟悉感，却同时损害哲学和工程。康德讨论的是人的经验何以可能；模型结构是研究者在数据、算力和任务条件下设计或训练出来的计算机制。二者没有概念同一，也不存在未经文献证明的历史影响。

更稳妥的入口是一个日常事实：我们的经验不是互不相干的感觉碎片。眼前的杯子转到背面，仍被认作同一只杯子。先听到碰撞再看到杯子滚动，我们会追问事件的客观次序和原因。从房间一侧走到另一侧，空间中的对象不会随视野更换而任意重排。不同感官和不同时间的材料，能够被理解为同一个经验过程。康德试图说明，材料要成为对象经验，必须能够在某种统一综合中被联系。《纯粹理性批判》B129—B169 的论证将“结合”归于综合活动，并把对象经验与表象的统一联系起来。⁸

本书借用的首先是这个问题结构。视频模型面对一串时空材料时，怎样维持对象？世界模型把不同观察压缩为状态时，凭什么认为它们属于同一个环境？动作前后的结果怎样成为受规则约束的事件，而不只是训练数据中常见的相继？多个对象如何处在一个共享空间中并彼此作用？来自文字、图像、声音和动作的条件怎样保持相容？这些问题与康德关于空间、时间、综合、图式、实体、因果、共同性和经验统一的讨论存在功能上的相似，也存在批判性的张力。

“功能上的相似”只表示双方处理的问题可以比较。例如，模型需要跨帧维持身份，康德讨论多样表象怎样被认作同一对象。这足以让后者帮助我们提出更严格的诊断问题，却不足以把某个对象槽位称为康德式实体。“批判性的张力”则表示哲学概念揭示了技术指标没有覆盖的条件。例如，下一帧预测准确并不能据此视为掌握因果，因为相关序列可能在干预后失效。康德对客观相继的要求能够提醒我们区分主观次序、统计规律与事件规则，但它不替代现代因果模型和实验。

康德框架也有明确边界。它能够有力地分析对象经验的统一条件，却不足以单独描述一个世界如何在长时间中保持开放，身体怎样改变可见与可行，工具如何在实践关系中获得意义，以及多个主体怎样共同验证对象和历史。因此，胡塞尔会在讨论地平线、滞留和可继续性时进入。海德格尔会在对象集合不足以构成实践世界时进入。梅洛-庞蒂和吉布森会在身体—环境关系与行动可能性成为核心时进入。共同世界的问题还需要主体间性和社会哲学。每位后继者只处理一个康德框架暴露出的缺口，完成任务后退出，不把本书扩写成一部哲学通史。

这种安排也意味着，哲学家不在书中充当模型裁判。康德不会替我们宣布某个视频“不是世界”，海德格尔也不会因为系统缺少人的存在方式而取消其工程价值。相反，哲学帮助我们拆开那些被一个词压在一起的问题：给予与对象、连续与持存、预测与因果、空间与世界性、动作接口与具身行动、服务器同步与共同世界。技术研究再用明确机制和实验回答其中可操作的部分。两者的关系既不是工程向哲学领取认证，也不是哲学退化成模型部件的比喻表。

还有一条边界尤其重要：本书不从模型能力推断意识。一个系统可以利用共享隐状态维持多镜头一致，可以用记忆汇集观察历史，可以在内部展开候选行动；这些功能值得与经验统一、再生或可能性展开相比较。但无论输出多么连贯，都不能仅据此推断模型具有“我思”、自我经验或人的主体性。后文谈到统觉统一时，我们只比较统一功能，并明确停止在主体性推论之前。

五　从标签争论转向可检验的说明

如果不问“它到底是不是世界模型”，是否会让概念失去力量？看起来，二元判断最干脆：是或不是，边界清楚，争论也容易结束。可是在一个词同时指向视频预测、潜在动力学、三维重建、交互环境和机器人规划时，干脆往往只是把分歧藏起来。甲说“是”，可能指模型生成了长时一致的观察；乙说“不是”，可能要求可干预状态；两人表面上争论一个标签，实际在使用两套输出合同。

本书采用另一种说明方式。面对任何系统，先写清它声称处理的范围：是短视频、固定游戏、室内三维场景，还是现实机器人？再写清它获得的证据：人类偏好、视频基准、状态探针、多视角查询、动作条件预测、规划成功，还是闭环现实执行？最后记录失败边界：持续多久，换视角是否稳定，动作分布改变后怎样，遮挡对象能否保持，不确定性是否被表达，多个主体是否得到相容但不相同的观察。

这种方法可以称为“主张—证据匹配”。若主张是“生成结果更符合文字并保持主体外观”，观看评价和视频基准可能适合。若主张是“模型保留对象状态”，就需要遮挡、离场、返回和跨视角测试。若主张是“模型掌握动作后果”，就要在相同状态下改变动作，观察结果是否相应变化。若主张是“模型帮助规划”，则要比较使用与不使用该模型的决策质量，并防止策略利用模型误差。若主张涉及共同世界，还必须允许不同参与者从局部视角相互确认同一对象和公共历史。证据越靠近实际用途，结论才越有资格靠近那个用途。

有人可能担心，这套标准会被不断抬高，最终没有任何系统配得上“世界模型”一词。这个担心只有在我们仍想进行二元认证时才成立。多维诊断允许系统在有限范围内获得明确而重要的结论：它能在某类房间中维持多视角几何，能在若干机械臂动作上改善规划，或能在一分钟影像里保持人物身份。范围有限并非就是成果虚假；真正需要避免的是把有限结论省略条件后改写为普遍能力。严格限定反而保护了工程成果，使它不必承担未经测试的哲学含义。

来源本身也要分层。原始论文、技术报告和哲学原典承担核心事实与文本解释。经过同行评议的研究和可靠专著用于说明争议。公司博客、访谈和产品页面可以证明机构如何描述自己的路线、产品何时发布，却不能独立证明强技术效果。闭源系统尤其需要克制：公开演示能够显示“至少生成过这个样例”，不能说明成功频率、失败分布或内部机制。近期预印本可以提供有价值的评测框架，但必须标明它仍在发展，不能因为日期新就把它当作定论。

全书将从观察、状态和行动这三个普通词逐步展开。第一部先说明影像一旦开始持续，时间、对象和事件为何成为技术负担，再分别界定生成可观看观察的机器与表示状态、预测后果的机器。第二部转向康德，依次讨论空间与时间、综合、图式、实体与因果，以及经验统一能够为技术分析提供什么，又在哪里停止。第三部回到视频模型的技术演化和字节跳动的模型谱系，并讨论多镜头、声音和剪辑如何使生成内容成为被媒介组织的经验。第四部研究内部模拟、JEPA、空间智能、行动和机器人。第五部再引入地平线、实践世界、身体、行动可能性与共同世界。最后，我们才把这些材料汇成多维能力判准。

书名中的“世界”因而不会在开头得到一个包办一切的定义。我们先采用一个最低工作说法：世界模型表示与环境有关的状态及其变化，并使这种表示支持预测、模拟、空间查询或行动。这个定义有意保持宽松，以便容纳不同研究路线；同时，每个具体主张都要附加范围和证据，防止宽松定义成为宣传许可证。

“世界容量”也只在此作初步说明。它不是参数量，不是上下文长度，也不是某个基准总分，而是有限系统在空间范围、时间持续、观察精度、行动自由度、参与者数量和一致性要求等条件下，能够维持多大经验世界的问题。一个系统也许能生成广阔但不可返回的景观，另一个能在狭小房间里保持精确物理，第三个能支持许多参与者却降低细节与响应速度。容量是一片受资源、误差和延迟共同约束的多维可达区域，不是一把从小到大的直尺。

本书将在结语提出一个愿意承担出错风险的猜想：持续的硬件与算法进步是否只能推动这片区域逐渐接近某个多维上界。现在还不能把这个猜想当作答案，更不能让它反过来选择前文证据。现实规律可能高度可压缩，系统可以按需生成未被观察的部分，分布式计算和新的表示方法也可能不断改变边界。先把世界能力的组成、用途和失败说清楚，才有资格讨论容量是否存在上确界。

我们因此从一只跌落的杯子开始，却不问模型是否“真正懂得杯子”。较好的问题是：它维持了哪些关系？杯子是否在遮挡后仍被保留，碰撞是否随条件改变，碎片是否能从新视角重新找到，行动者是否能据此绕行，另一个人是否能验证同一结果？每增加一个问题，系统需要承担的世界承诺就更具体，可能失败的地方也更清楚。

一段影像像一个世界，已经是一项值得解释的技术成就。它可能包含对象、运动、空间和物理规律的真实线索，也可能在观看条件之外迅速瓦解。承认前一种可能，使我们不低估视频学习；坚持后一种检验，使我们不把希望写成事实。本书要做的，不是在这两种态度之间选择一句更响亮的话，而是沿着观察、状态、行动、身体与他者的层次，逐项说明证据究竟允许我们走到哪里。

注释

第一部：两类模型

第一章至第三章

第一章　当影像开始持续

一张照片里，一个人正把杯子举到唇边。我们能看见他的手、杯沿和升起的热气，却不知道这只手刚刚从哪里伸来，也不知道下一刻杯子会被放回桌面，还是会从指间滑落。照片可以暗示过去和未来：倾斜的杯身让人预感动作仍在继续，模糊的手指留下运动痕迹。但这些时间关系主要由观看者补足。就照片本身而言，杯子只在这个瞬间、这个视角和这组像素中出现。

把照片延长为五秒视频，任务立刻改变。手臂要沿着可理解的轨迹移动，杯中液面要随倾斜变化，遮住的手指再次出现时不能变成另一种形状，人物转过脸后仍应是同一个人。若杯子落下，后续画面还要回答更多问题：下落是否连续，碰撞是否发生在接触之后，杯子是否破碎，碎片是否会留在地面。每一帧单独看都可以很自然，整段影像却仍可能失败。

这正是视频生成把“世界”重新带入技术讨论的原因。静态图像已经需要处理物体、空间、材质、光线和语义；视频又给这些内容增加了过去与未来。模型不能只在每个时刻生成一幅好看的图，还要让已经生成的内容对尚未生成的内容形成约束。影像一旦开始持续，时间就不再是文件长度，而成为对象能否保持、事件能否成立、变化能否受到规则约束的问题。

不过，从“视频增加了世界负担”不能直接推出“视频模型就是世界模型”。导论已经区分了观察与状态：视频首先交付一段可观看观察，世界模型则可能为了预测或行动保留不可见状态。本章进一步拆开视频中的三种连续：帧与帧在视觉上接得起来；对象在变化和遮挡中仍被认作同一个；事件的前后环节服从稳定规则。三者经常一同改善，却不是一件事。

图1-1　视频增加的时间负担。视频一旦延伸到时间中，评估就从帧间平滑扩展到对象持存、事件次序、因果后果和长时历史；后面的每一项都不能由前一项自动推出。

一　一张图片没有自己的过去

静态图像生成面对的是一个同时呈现的构图。模型需要让人物、物体、背景、光线和文字条件在同一画面中相容，但它不必实际生成这个画面的来路。一个人在雪地里奔跑，图像可以用抬起的膝盖、飞散的雪和向后飘动的围巾表现速度；模型不必交代上一秒脚踩在哪里，也不必保证下一秒落脚能够支撑身体。

这不是说静态图像没有时间意义。伤痕暗示已经发生的事，待点燃的蜡烛指向可能发生的事，绘画和摄影也有复杂的叙事时间。差别在于，这些时间多半凝结为一个画面中的线索。观看者可以据此想象过程，生成系统却没有被要求把过程逐步展开。只要当前构图可信，任务就可能完成。

视频把被省略的中间环节重新交给模型。若文字要求“一个孩子把纸飞机掷过房间”，生成器必须让握持、摆臂、放手、飞行和落地形成一段过程。纸飞机不能在放手前飞出，也不能一会儿在左手、一会儿在右手；它转过侧面时，形状变化应与视角一致；飞出画面后若又被拍到，也不应无故变成另一架飞机。一个动词由此变成许多相互制约的时刻。

最直接的办法，是让模型根据已经出现的内容预测接下来的内容。早期像素级视频模型把一帧乃至一个像素之后的值，当作条件概率中的下一个项目。Video Pixel Networks 便尝试用卷积与自回归结构逐像素生成未来视频。⁹ 这种方法的重要性不在于它的画质能与今天的系统相比，而在于它把问题表达得很清楚：未来不能独立抽取，必须受过去约束。

逐像素处理视频很快遇到计算负担。几秒画面包含大量空间位置和时间步，直接依序生成会形成极长序列。后来的工作开始先压缩，再在较小的表示中建模时间。VideoGPT 使用向量量化变分自编码器把视频转成离散的时空符号，再由 Transformer 学习这些符号的分布。¹⁰ 生成过程不再直接搬运每个像素，而是在压缩后的单位上预测，再由解码器还原为画面。

扩散模型提供了另一种生成方式。它不必按播放顺序逐帧完成整段视频，而可以从噪声表示出发，反复去噪，让空间与时间结构在生成过程中共同形成。2022 年的《Video Diffusion Models》系统展示了怎样把图像扩散架构扩展到视频，并用空间、时间模块处理帧内与帧间关系。¹¹ 这条路线后来与潜空间、Transformer 和更大规模训练结合，成为现代视频生成的重要基础。

从像素自回归到离散表示，再到视频扩散，不应写成一条旧方法不断被新方法淘汰的直线。不同方法在生成速度、长程依赖、可控性和训练稳定性上各有取舍；许多现代系统也混合使用压缩、注意力、扩散或自回归机制。真正贯穿其中的问题是：怎样让一个时刻不再孤立。模型必须给过去留下一种能影响未来的形式，否则视频只是许多静态样本的快速轮播。

“受过去影响”仍是很宽的要求。最邻近的几帧可以限制颜色和轮廓，较远的历史则要限制人物身份、物体位置和已经发生的事件。模型可能很好地处理前者，却逐渐忘记后者。时间越长，需要共同保持的条件越多，误差也越容易累积。视频长度因此不只是秒数指标；它还测量系统能让多少历史继续对当前有效。

过去对未来的约束也不是唯一决定。孩子掷出纸飞机以后，飞机可能撞墙、落地或飞出门外；人物走到路口，可以左转，也可以右转。视频生成器必须在多种合理延续中产生一种，不能因为未来不唯一就停在那里。于是，时间建模同时包含两项要求：已经发生的事实应继续有效，尚未决定的部分又要允许变化。若模型把所有可能压成一条固定轨迹，它会显得僵硬；若每次采样都改写已经发生的事，它又失去历史。

这个张力说明，持续不是简单复制。好的生成系统既要保持条件，也要产生新内容。人物外套的颜色应当持续，衣角的每次摆动却不必完全相同。房间布局应当稳定，灯光可以随时间改变。杯子已经破碎以后不能恢复完整，碎片落点则可以有多个物理上合理的结果。哪些差异必须锁定，哪些差异允许采样，是视频模型内部表示必须不断作出的区分。

持续时间越长，这种区分越难依靠近邻线索。几帧之内可以根据颜色和位置接续，一分钟以后却可能需要记住早先放进抽屉的钥匙、已经离场的人物和不能被撤销的事件。长视频的困难因而不只是生成更多帧，而是让稀疏出现的历史事实在需要时重新产生约束。

二　视频增加了哪几种时间负担

先看一个最简单的球。第一帧中，红球在桌面左侧；第二帧中，它稍微向右；随后几帧继续右移，最后从桌边落下。只要球在相邻帧间移动不大，观看者就会感到运动平滑。这是第一层：帧连续。它要求局部外观和位移不要突然跳变，避免闪烁、抖动或纹理毫无理由地更换。

现在让球从一只盒子后面经过。球进入遮挡区后，画面上暂时没有红色圆形；几帧以后，它从另一侧出现。此时，局部像素连续已不能解决问题。模型必须让不可见阶段与先前、后续阶段相容，包括球的颜色、大小、速度和运动方向。这是第二层：对象持续。它要求系统在当前画面缺少直接证据时，仍保留“同一个球正在那里”的可能状态。

最后，把桌边抬高，或者在球前放置挡板。如果无论怎样改变条件，球都沿原路径落下，那么画面可以流畅，对象也可以保持，却没有正确响应环境。这是第三层：事件规则。球怎样移动，不只取决于上一帧长什么样，还取决于速度、接触、障碍和动作。条件发生改变，后果应以相应方式改变。

层次	需要维持的关系	典型失败	合适的检验
帧连续	相邻画面的外观和运动衔接	闪烁、跳变、局部纹理漂移	时间平滑、运动质量、相邻帧一致
对象持续	遮挡、转身、离场后的身份与属性	人物换脸、物体消失、数量改变	遮挡追踪、返回测试、属性不变
事件规则	条件、动作与结果之间的稳定关系	穿透、无因运动、改变条件却结果不变	干预、反事实、物理诊断任务

三层并不是互相独立的模块。对象持续通常需要局部连续提供线索，事件规则也要通过对象和运动表现出来。但它们可以分开失败。人物转身时，面部在过渡帧里可能十分平滑，转回来却换了身份。杯子从桌面落下时，每一帧都很清楚，杯底却穿过桌板。两辆车发生碰撞，车身变形自然，受力方向却与运动结果矛盾。

视频评测的发展也反映了这种拆分。VBench 不把“好视频”压成一个模糊印象，而是分别检查主体一致性、背景一致性、运动平滑、动态程度、闪烁、空间关系和文字一致等维度。¹² 这些指标仍主要从输出影像判断，但它们至少说明，画质、运动和身份不是同一个量。一个系统可能在美学质量上领先，在复杂运动或多对象关系上仍然薄弱。

物理诊断基准进一步把外观合理与世界规则分开。IntPhys 2 围绕对象永久性、属性不变、时空连续与固体性构造可能或不可能的场景：物体能否无故消失，颜色和形状是否在遮挡后改变，运动轨迹是否连续，固体是否互相穿透。¹³ 这些原则可以分别被违反。系统识别出一种违反，不代表它同时掌握其他原则；生成视频在一类场景中成功，也不能保证在另一类场景中保持同样结构。

同样，专门比较视频生成与世界模型能力的研究发现，扩大模型和数据可以改善若干物理表现，却不能保证所有物理维度同步出现。¹⁴ 这里应当保持两方面的克制。一方面，当前失败不能证明视频学习永远无法形成对象或物理结构；另一方面，规模带来的平均改善也不能代替逐项测试。真正有信息量的问题不是“模型有没有物理常识”，而是“在什么对象、时间、条件变化和干预范围内，哪条规则仍然成立”。

“事件规则”也不能直接推出必须在网络中找到一个写着“重力”或“碰撞”的可读变量。模型可以用分布式表示保留关系，不必复制物理学教科书的符号。我们要求的不是内部形式长得像人的理论，而是外部行为在条件改变后仍有结构。只看一次顺利生成，无法区分模型是利用了稳定关系，还是选择了训练数据中常见而碰巧合适的延续。

三　同一个对象为什么会丢失

对象身份是视频最容易被观看者察觉、也最难被单一指标概括的问题。一名人物走过树后，外套颜色变了；一只猫钻进床底，出来时花纹不同；桌上有三只杯子，镜头转回后只剩两只。我们通常把这些现象称为“不一致”，但这个词掩盖了若干不同原因。

有时，问题发生在生成细节。系统的内部表示仍受“同一个人”约束，却无法在长时间和复杂姿态下稳定还原面部。这更接近渲染或解码误差。有时，问题发生在条件绑定：文字、参考图和已有帧中的身份信息在后续生成中逐渐失去影响。有时，系统根本没有形成可跨遮挡追踪的对象状态，只是在当前可见区域合成最可能的外观。三种失败看上去都像“换脸”，修复方法却不相同。

这也是为什么不能从输出倒推出唯一内部机制。一段成功的遮挡视频可能来自稳定对象表示，也可能来自局部运动线索足够强；一次身份漂移可能说明状态丢失，也可能只是解码器没有保留细节。若要知道模型是否编码了对象，可以检查内部表示能否支持追踪、位置预测和属性恢复。若要知道这种对象表示是否对行动有用，还要观察它在抓取、避障或返回场景时是否改善结果。

对象也不一定是世界模型必须采用的基本单位。某些系统可以用稠密特征、场表示或关系网络工作，而不把每个物体放进单独槽位。重要的是，当任务需要时，系统能否维持那些使我们继续谈论“同一个东西”的差异。球被遮挡后仍有速度，杯子离开视野后仍占据空间，钥匙放进抽屉后仍可以被找回。内部表示叫什么，不如它能否承担这些查询重要。

相机运动使身份问题更难。画面中的位置变化可能来自物体移动，也可能来自摄像机转动；物体变小可能是远离，也可能是镜头焦距改变。模型若只追踪二维纹理，很容易把观察条件的变化误当成对象自身变化。它不一定要显式重建完整三维场景，但至少要让同一段运动在不同视角下保持相容。否则，相机绕到人物背后时，模型会把“看见了另一面”处理成“生成了另一个人”。

多对象场景还要求身份与关系同时持续。桌上的红杯在蓝杯左侧，人物拿走蓝杯以后，红杯不能因为参照物消失而改变自身身份。两辆相似汽车交错行驶，系统既要维持各自轨迹，也不能在遮挡后交换车辆。对象不是一张固定外观模板，而是属性、位置、运动和与其他对象关系在时间中的组合。只检查某个局部纹理，无法覆盖这种关系负担。

视频生成器还有一个特殊自由：它可以用改变叙事来掩盖状态缺口。若人物的手难以持续，镜头可以切到脸部；若复杂碰撞难以生成，画面可以在接触前结束；若场景背面没有稳定结构，相机可以不绕过去。对影视创作而言，这些选择完全合理，甚至体现了良好的镜头组织。可是在评估世界结构时，系统选择展示什么与它能否承受追问必须分开。只沿模型最擅长的镜头观看，很容易把媒介上的回避当成状态上的完整。

因此，对象持续需要主动测试。让物体离开画面再回来，改变遮挡时间，交换相似对象的位置，要求从新视角查询，或者在对象不可见时执行会影响它的动作。测试越能迫使系统使用过去证据，而不是依赖当前纹理，越接近我们要考察的能力。

最强的反对意见仍然成立：现代视频模型的内部状态可能已经隐式编码对象、深度乃至部分因果关系，只是训练目标没有要求把它们显式输出。我们没有理由先验排除这种可能。恰当的回应不是继续盯着画面猜测，而是增加内部探针、跨任务迁移、动作条件和干预评测。若表示确实保留了结构，它应当在某些新查询或新用途上留下可复现的证据。

四　四种世界模型的第一次相遇

为了看清不同路线怎样回答同一个问题，设想一项简单任务：机械臂面前有一只蓝色杯子和一个纸盒。摄像机从固定位置观察。机械臂需要抓起杯子，把它放进盒中，然后松手。动作过程中，手爪会遮住杯子；杯子进入盒中后也不再可见。系统若只根据当前画面行动，遮挡一发生，就可能失去目标。

一种回答来自 2018 年的《World Models》。它把系统概括为视觉模型、记忆模型和控制器：视觉部分压缩高维观察，记忆部分预测内部状态怎样随时间和动作变化，控制器据此选择行动。论文展示的任务远比真实机械臂简单，但核心直觉容易把握：智能体不必每次都在真实环境中试错，可以让一个学到的内部模型先生成可能过程，再训练控制器。¹⁵ 对杯子任务而言，这条路线会问：怎样把摄像机画面压缩为足以追踪杯子和手爪的状态，并在内部估计动作后果？

“内部生成”常被论文称为 dream 或 imagination，中文有时译作“梦境”或“想象”。这里必须去掉心理含义。系统没有睡眠经验，也不必形成可供人观看的清晰视频。它只是反复调用学到的状态转移：在当前压缩状态下执行一个动作，下一个状态可能是什么。连续调用便得到一条未在现实中执行的候选轨迹。

PlaNet 和 Dreamer 发展了这条潜在动力学路线。PlaNet 从像素观察和动作中学习潜在状态，在每个决策时刻比较候选动作序列；Dreamer 则利用模型展开大量潜在轨迹，并在这些轨迹中训练策略和价值估计。¹⁶ 对机械臂来说，它们关心的不一定是杯子纹理是否完全重建，而是“抓住—移动—放入”这条轨迹能否在内部状态中保持，哪种动作序列更可能达到目标。

MuZero 给出更激进的答案。它学习一个适合搜索的表示和动力学，却不要求内部模型重建环境观察。模型主要预测搜索所需的奖励、价值和策略信息。¹⁷ 放到统一案例中，这意味着：若任务只是把杯子放进盒中，系统未必需要生成一段逼真机械臂视频；它需要保存那些会改变成功概率和行动选择的差异。当然，现实机器人比棋盘和 Atari 环境包含更多连续状态，MuZero 不能直接作为通用机械臂方案。它在这里承担的是一个概念反例：世界模型可以对规划有用，而没有可观看输出。

JEPA 路线又改变了预测对象。联合嵌入预测架构不以还原所有像素为目标，而是在表示空间预测被遮挡或未来区域的表示。V-JEPA 把这种方法用于视频：系统根据可见时空片段预测被遮挡部分的目标表示，从而学习动作和外观任务可用的视觉特征。¹⁸ 在杯子案例中，它首先问的不是“下一帧每个像素是什么”，而是“被手爪挡住以后，哪些较稳定的结构仍应在表示中成立”。V-JEPA 本身主要是自监督表示学习模型，还不能仅凭这项训练就被当作动作条件规划器；更强的行动版本将在后文讨论。

这几条路线可以用四个问题来区分。《World Models》问，能否在压缩的内部环境中训练控制器。PlaNet 和 Dreamer 问，能否在潜在动力学中比较动作或学习策略。MuZero 问，为搜索保留哪些任务相关信息已经足够。JEPA 问，能否绕开不可预测像素，直接预测较抽象的表示。它们都处理“当前观察不足以决定未来行动”的困难，却对要保留什么、要预测什么、如何验证有不同回答。

• World Models：主要保留或预测：压缩观察与内部动力学；杯子任务中的直观作用：在内部环境中尝试控制；当前不能据此推出：适用于开放现实环境。
• PlaNet / Dreamer：主要保留或预测：潜在状态轨迹与行动价值；杯子任务中的直观作用：比较抓取和移动序列；当前不能据此推出：每个对象都有显式语义。
• MuZero：主要保留或预测：奖励、价值、策略等规划量；杯子任务中的直观作用：只保留影响任务成败的信息；当前不能据此推出：重建完整环境观察。
• JEPA / V-JEPA：主要保留或预测：被遮挡或未来内容的表示；杯子任务中的直观作用：保持遮挡下的相关视觉结构；当前不能据此推出：已具备动作条件与因果模型。

统一案例中还有一个不能回避的条件：系统只从固定摄像机获得部分观察。杯子被手爪遮住以后，真实环境仍有确定状态，系统却只能依据历史估计。它可能判断杯子已经抓稳，也可能保留“滑落”这一风险。世界模型在这里并不是把最后一帧压缩得更小，而是把观察历史、动作和不确定性汇入当前状态。第 3 章会详细说明这类状态怎样形成；此处只需看到，当前像素不足以直接提供行动所需信息。

不同路线对不确定性的处理也不同。生成式内部模型可以采样多条可能轨迹，规划模型可以比较候选动作的价值，表示预测可以保留对任务有用却不便还原的结构。没有哪一种形式天然最好。若任务要求人检查预测，清晰观察很有价值；若任务要求快速搜索，紧凑状态更重要；若环境存在危险的少见结果，只预测平均未来可能掩盖风险。评价模型时，必须把预测形式与行动用途放在一起。

这张表不是模型排行榜。World Models 的生成式内部环境不比 MuZero 的任务相关表示“更完整”，MuZero 也不因省略像素就“更理解世界”。每条路线都在计算成本、可检查性、任务迁移和信息保留之间作选择。杯子表面的微小裂纹对棋类规划毫无意义，对易碎品抓取却可能决定行动。抽象的价值总是相对于任务；通用性则要求系统在任务改变时发现原先被丢弃的差异。

五　从连续画面走向认识论问题

现在可以回到最初那段举杯视频。若我们只问画面是否连贯，主要检查相邻帧和观看质量。若问人物与杯子是否持续，就必须让过去在遮挡和转身后仍起作用。若问杯子为何落下、换一种动作会怎样，就要考察事件规则和干预响应。三类问题共同出现在视频中，却要求不同证据。

这种拆分使我们避开两种简单叙事。第一种叙事说，视频生成只是在图片上增加时间维度，因此只要图像模型足够大，问题自然解决。实际情况是，时间带来历史约束、不可见状态和误差累积；它改变的不只是输入张量的形状。第二种叙事说，视频一旦流畅，就已经形成世界模型。实际情况是，流畅首先证明观察序列在某些条件下可信，状态、动作和因果仍需另外测试。

技术史也不应被写成一步步接近“真正世界”的进步史。早期模型在短小、低分辨率数据上探索了清楚的问题。现代基础模型扩大了数据、表示和生成范围，同时也带来闭源评测、复杂训练分布和难以定位内部机制等新困难。新系统可以在更多场景中成功，却不因此免于明确主张和失败边界。

本章介绍的几条世界模型路线，为后面提供了一张基础地图。它们不是视频模型之后的统一下一阶段，而是从控制、强化学习和自监督表示等问题出发形成的不同回答。视频生成可以与这些回答结合：增加动作条件、让潜在表示进入规划、把生成场景变成可交互空间。但每一次结合都会改变输出合同，也需要新的证据。

第一部接下来的两章将分别把这两侧说清。第 2 章研究生成可观看观察的机器：视频怎样被压缩和生成，“好视频”有哪些互不等同的指标，物理评测能证明到哪里。第 3 章再研究表示状态、预测后果的机器：部分可观测环境为什么需要内部状态，潜在动力学怎样服务于规划，任务相关抽象又会丢掉什么。只有在这两类技术对象各自获得清楚定义以后，哲学比较才不会建立在混用的名称上。

我们还没有进入康德的具体论证，但问题已经出现。为什么一串相继的画面会被组织成同一个对象的变化？为什么某种先后只是观看顺序，另一种先后却被当作事件的客观秩序？为什么当前没有出现的杯子，仍被认为处在盒中？这些不是向模型索取人的意识，而是在追问：多样材料要成为一个可持续、可预测的经验过程，至少需要哪些组织条件。

一张图片没有由自身生成的过去。视频让模型开始承担过去，也因此承担忘记、改写和误接的可能。世界模型再把这种负担从观看推进到状态与行动：过去不仅要让画面接得上，还要限制下一步能做什么、会发生什么。影像开始持续，并不意味着世界已经完成；它意味着世界问题终于不能继续被留在画面之外。

注释

---

第二章　生成可观看观察的机器

给视频模型一段文字：“一只白色陶瓷杯从木桌边缘滑落，在地板上摔碎，水向窗边流去。”几秒以后，系统交付一段清晰影像。杯子的釉面反射出窗光，坠落时发生旋转，撞击声与接触时刻大致相合，水和碎片沿地面散开。作为观看者，我们也许会觉得它相当可信。

把视频放慢，问题可能出现。杯子还没碰到地面，杯壁先裂开；一块碎片穿过桌腿；水流到一半失去体积，像被画面吸收；镜头转回时，原先的杯柄出现在错误一侧。也可能没有任何显眼错误，整段影像依旧无法回答：若桌面不是木头而是软垫，结果会怎样？若一只手在半空接住杯子，模型能否稳定改变后果？

这两组问题属于不同的评价合同。第一组仍在检查生成出来的观察：画质、运动、身份、声音和物理表象是否可信。第二组开始要求模型响应尚未发生的条件或动作，已经接近状态转移与反事实。视频生成模型可能在第一组问题上十分优秀，同时没有被训练去回答第二组；也可能在生成过程中隐式学到部分结构，为后续适配提供基础。

因此，本章不问视频生成模型“到底算不算世界模型”。我们先把它当作一种有明确用途的机器：根据文本、图像、视频、声音或其他条件，生成可供人或下游系统接收的时序观察。这个定义不会贬低它。生成可信观察本身包含复杂的空间、时间和媒介约束。只有先说明这台机器实际优化什么、怎样表示视频、又如何接受评价，才能判断它与世界模型在哪些地方相接。

图2-1　视频生成流水线与诊断位置。条件输入经压缩器、时空生成主干和解码器成为视频；对象持存与物理诊断必须回到输出及其中间状态，不能只用画质指标代替。

一　视频生成究竟在优化什么

最简单的任务表述是：给定条件，从训练数据所代表的视频分布中生成一个样本。条件可以是一段文字、一张首帧、一个人物参考、一段待延长视频，也可以为空。系统要产生的不是现实中唯一正确的未来，而是一段与条件相符、在数据分布中有可能出现的影像。

“有可能出现”与“真实发生”并不相同。文字“雨中的城市街道”允许无数画面：不同地点、时刻、车辆、行人和镜头运动都可以成立。生成器只需选择其中一种，不负责恢复某个已经存在却未被观察的城市状态。即使输入是一张真实照片，未来也通常不唯一。模型生成的下一段是条件下的可能延续，不是对现实未来的测量。

训练目标把这种任务变成可计算问题。模型接收大量视频及其条件，学习怎样把噪声、离散符号或其他初始表示转化为更接近数据的时空结构。误差通常在像素或潜在表示中计算，也可能加入文字—视频对齐、感知质量或人工偏好等信号。无论具体做法如何，直接受优化的是生成分布与训练数据、条件和评价信号之间的匹配。

这里没有一个独立于数据与评价的“现实度”旋钮。若训练材料偏向平稳镜头，系统可能更容易生成稳定背景，却不擅长快速相机运动。若数据中人物表演和商品展示很多，常见动作与光照会较自然，罕见机械过程仍可能失败。后训练若强调人类偏好，画面可能更悦目、更符合提示，也可能进一步偏向观看者容易接受的结果。所谓能力始终是训练分布、架构和选择标准共同形成的。

同一条提示还可以产生许多合理样本，因此视频生成不能只用与某个“标准答案”的像素距离评价。雨滴位置、人物步幅和镜头轻微摆动不必与参考视频一致。较合理的目标是让生成结果落在条件允许的范围内，同时保持关键对象、动作和关系。这也解释了评价为何困难：多样性是生成系统的优点，却会让逐像素对照失去意义；条件越开放，越需要把质量拆成可观察维度。

这意味着，模型可能通过不同内部路径得到相似输出。它可以形成相对稳定的对象表示，也可以依赖局部纹理和常见运动模式；可以保留某种三维关系，也可以在给定相机轨迹附近合成足够可信的二维变化。只凭一段成功视频，我们无法知道是哪一种机制起了作用。输出能够证明“系统在这些条件下生成过这段观察”，不能独自揭示内部状态的语义。

生成目标还会受到数据选择影响。电影、广告、手机短视频、游戏录屏、监控画面和机器人第一视角拥有不同的镜头规律。训练数据若充满剪辑，模型会学到镜头切换后如何保持人物与叙事。数据若主要来自固定摄像机，模型更容易接触连续物理过程。机器人视频带有动作和反馈，却数量更少、分布更窄。所谓“学习世界”，首先总是学习经由摄像、剪辑、标注与采样形成的可见材料。

条件描述本身也不完整。“一个人把书放到桌上”没有规定人物从哪侧进入、书的封面、动作速度和镜头位置，模型必须从数据分布中补足。补足使生成成为可能，也使评价变得含混：结果偏离评审者心中未说出的细节，不一定违反提示；结果满足字面要求，也可能违背常识。高质量系统需要在明确条件与未规定自由之间取得平衡，评测则应避免把个人偏好误写成客观错误。

因此，视频生成的成功不能只用“逼真”概括。一个创作工具可能重视构图、风格和镜头语言。一个视频延长工具重视与输入片段的连续。一个合成训练数据系统重视场景覆盖和标签正确。一个机器人预测器则必须让动作与后果相合。它们都输出视频，却有不同用途。评价之前必须先说明观众是谁、输入是什么、输出将被怎样使用。

二　为什么先要压缩视频

原始视频非常庞大。以普通彩色视频为例，每一帧包含大量空间位置，每个位置又有多个颜色通道；加入时间以后，数据量随帧数继续增长。直接在像素上建模不仅计算昂贵，还会迫使模型反复处理肉眼难以察觉、对事件关系未必重要的细节。

现代系统常先训练一个编码器，把视频压缩到较小的潜空间。这里的“潜在”只表示变量不是原始像素，不表示潜意识，也不保证变量对应可解释对象。编码器把一段视频映射为较低维表示，解码器再把表示还原为可观看画面。若压缩有效，生成模型便可以在更小的空间中工作，大幅减少时空符号数量。

变分自编码器常被用于这种压缩。它学习一个连续潜空间，使相近区域能够解码为相似影像，并用分布约束保持可采样性。视频系统可以沿空间和时间共同压缩，也可以先对单帧压缩，再让生成模型处理时间。具体设计影响模型能保留什么：压缩率越高，计算越省，小物体、文字、快速动作和细微接触也越容易丢失。

编码器与解码器通常先通过重建任务学习。输入视频被压缩，再从潜在表示恢复，系统以重建误差、感知误差或对抗信号逼近原始画面。若解码后的结果在人眼看来相似，压缩便完成了它的直接任务。但“重建相似”不意味着表示保存了所有可行动变量。两个画面在感知指标上差别很小，其中一道裂纹或几毫米接触位置仍可能决定后续物理结果。

时间压缩还会改变事件分辨率。若多个相邻帧被合并进一个潜在单位，缓慢运动可以得到高效概括，极短接触却可能被平均掉。球拍与球接触的一瞬、手指松开杯柄的时刻、脚掌开始打滑的细节，都可能短于压缩窗口。生成器随后可以补出视觉上自然的过渡，却未必恢复原来决定事件的瞬间。压缩比因此不仅是性能参数，也规定了系统最细能区分的时间变化。

这是一项常被忽略的世界条件。若编码器没有保留杯沿的一道裂纹，后面的扩散模型无论多强，都难以让裂纹稳定决定破碎过程。若小球压缩后与背景混在一起，生成器可能无法持续追踪。潜空间不是客观环境状态，而是为重建与生成服务的工程表示；它的盲区会成为整个系统的盲区。

另一方面，压缩也可能帮助模型避开无关细节。每一片水面波纹、每一根毛发的精确位置通常不可预测，也未必需要跨时间固定。较好的表示会保留外观、运动和语义所需结构，同时允许高频细节在解码时重新生成。困难在于，“无关”取决于用途。广告画面可以忽略的裂纹，对检测材料损伤可能至关重要。

Stable Video Diffusion 等工作把潜在图像扩散扩展到短视频，并显示数据筛选、预训练和视频微调会共同影响结果。¹⁹ 这说明潜空间只是管线的一部分。视频质量不由某个单独模块决定，而取决于编码器、生成器、条件系统、训练数据、采样过程和后处理怎样协同。

Seaweed-7B 提供了另一类例子。其技术报告把约七十亿参数的扩散 Transformer、视频自编码器、数据处理、训练基础设施和后训练放在同一系统中讨论，强调中等模型规模也可以通过训练和系统设计获得较强生成能力。²⁰ 这类工作提醒我们，不能把视频进步只归因于参数增大。表示压缩、数据质量、训练预算和任务组合都会改变可生成观察的范围。

三　扩散与时空 Transformer 怎样生成视频

“扩散模型”很容易被误解成逐帧猜下一张图。实际做法通常不同。训练时，系统把视频或其潜在表示逐步加入噪声，再学习怎样根据噪声程度和条件恢复较干净的表示。生成时，它从随机噪声出发，重复应用去噪网络，逐渐形成一整段视频。空间与时间内容可以在多次更新中共同变化，而不是先把第一帧做完，再机械地复制到下一帧。

视频扩散相对于图像扩散增加的核心困难，是网络必须同时处理帧内结构与帧间关系。帧内结构决定人物、物体、背景和局部纹理是否成立；帧间关系决定这些内容如何运动、变形和持续。早期视频扩散工作会在图像网络中加入时间模块，让空间处理继承图像模型能力，再学习跨帧信息。²¹

Transformer 为这种建模提供了另一套通用结构。系统把压缩视频切分为时空 token，也就是一组在空间和时间上具有位置的表示单位。注意力机制让不同 token 交换信息，使当前区域能够参考同一帧的远处内容，也能参考前后时刻。扩散 Transformer（DiT）则用 Transformer 作为去噪网络的骨架，在潜在时空 token 上预测应当移除的噪声或恢复的目标。

Latte 是潜在视频 DiT 的代表性研究。它比较了多种空间—时间注意力分解方式：有的先处理空间再处理时间，有的交替使用，有的把时空 token 共同处理。²² 这些设计都能生成视频，效果和成本各异。这个事实很重要，因为它表明工程中的“时间结构”不是一种不可替换的唯一形式。研究者可以改变 token 化、注意力范围和模块顺序，模型也可以从数据中学习不同关联。

时空 token 并不天然等于对象。一块 token 可能覆盖人物衣袖与背景交界，也可能随压缩率改变大小。注意力权重显示信息发生关联，却不直接说明模型形成了杯子、手臂或因果事件等可解释概念。我们可以通过探针、可视化和干预研究内部表示，但不能因为架构含有时间注意力，就断言对象持存或物理规律已经实现。

条件信号也要进入生成过程。文字提示通常先被语言编码器转成表示，再通过交叉注意力或其他机制影响视频 token；参考图像、首尾帧、动作或声音可以用各自编码器加入。条件越多，系统越要解决冲突：文字说红衣，参考图是蓝衣；首帧与尾帧暗示不相容姿态；声音节奏与动作时长不合。高质量生成不仅是去噪，还要在多种条件之间形成稳定取舍。

采样过程同样影响结果。更长的去噪步数可能增加计算，也可能改善细节。引导强度提高可以加强文字一致，却可能降低多样性或运动自然度。随机种子改变会得到不同但都合理的过程。因此，一段演示不能代表模型的成功率。可靠评价需要固定协议、多次采样和失败分布，而不是只选择最好的样例。

可以把典型潜在视频扩散管线概括为五步。第一，编码器把训练视频压缩为潜在表示。第二，系统向潜在视频加入不同程度的噪声。第三，文字、图像或其他条件被编码并送入去噪网络。第四，DiT 或类似网络学习恢复时空结构。第五，生成时从噪声反复去噪，再由解码器还原视频。每一步都会引入自己的误差：压缩丢细节、条件编码丢关系、去噪产生漂移、解码改变纹理。把所有失败都归为“模型不懂物理”，会错过真正需要修复的环节。

这条管线也说明，扩散不是在内部按自然时间“经历”事件。整个潜在视频可以在多次去噪中共同形成，后面的帧在生成计算中影响前面的帧。播放顺序与计算顺序并不相同。模型仍要产生符合时间方向的结果，但我们不能从视频从左到右播放，就推断系统按同样顺序逐刻思考。

四　“好视频”至少包含哪些维度

观看者通常能迅速判断一段视频“哪里不对”，却很难把判断还原成单一数值。画面可能精致但几乎不动，运动丰富却人物变形，文字要求得到满足却镜头构图糟糕，声音同步却事件逻辑错误。把这些情况平均成一个总分，会隐藏模型能力的形状。

VBench 将视频生成质量拆成十六个维度，包括主体一致性、背景一致性、时间闪烁、运动平滑、动态程度、审美质量、成像质量、物体类别、多个对象、动作、颜色、空间关系和场景等。²³ 它通过相应提示和自动指标分别测量，并用人工偏好验证若干指标是否贴近观看者判断。

这种拆分带来两个好处。第一，研究者可以知道改进来自哪里，而不是只看到总分变化。第二，不同用途可以选择不同维度：角色短片更看重身份和运动，广告更看重文字与构图，镜头预演也许允许低分辨率，却要求相机轨迹明确。但它仍主要在观察层工作。主体一致性高，说明输出身份较稳定；它不直接证明系统内部保留了可供行动查询的对象状态。

VBench-2.0 把评价进一步推向“内在可信”，将人体真实性、可控性、创造性、物理和常识纳入五组评测。²⁴ 这表明视频质量概念正在扩展：人们不再满足于漂亮和平滑，也开始问物体行为、人体动作和场景关系是否合理。然而，自动指标、视觉语言模型裁判和提示集合本身也会带来偏差；基准覆盖的物理或常识并非就是开放现实的全部规律。

同一个维度内部还可能有不同层次。人物“身份一致”可以指衣服颜色不变、面部相似，也可以指跨镜头仍保持同一叙事角色。“运动合理”可以指轨迹平滑，也可以指接触后受力方向正确。“文字一致”可以指画面出现指定对象，也可以指复杂事件按要求完成。名称相同，测试若不同，分数不可直接比较。

人类偏好也不是最终裁判。观看者容易接受熟悉的电影惯例，例如慢动作、镜头跳切或夸张运动；对短片中的小幅物理错误未必敏感。某些为机器人训练生成的视频，画面粗糙却准确保持动作结果，可能不受普通观看者偏爱。评价必须回到用途：好看的观察、忠实的状态和有效的行动数据可以重合，却不必重合。

评价协议还要区分“一次采样最好能多好”与“系统通常有多可靠”。创作者可以生成二十次，从中挑选一条成片；自动驾驶或机器人预测却不能依赖人工淘汰十九条危险结果。前者关心可达到的质量上限，后者关心成功率、校准和最坏失败。只公布精选样例时，这两种用途很容易混在一起。

不同基准之间也不能直接横向相加。美学模型的分数、光流平滑、视觉语言模型判断和人工物理标签拥有不同误差来源。某个系统在一个榜单上总分更高，不意味着它在所有用途上更强。严谨的报告应保留分项结果、样本数量、提示类型、生成次数和置信区间，让读者知道结论在哪个协议内成立。

五　物理基准究竟暴露了什么

视频模型被称为世界模型时，最常见的反例是“杯子穿桌”“人多长一根手指”或“物体无故消失”。这些案例直观，却也容易被误用。一次失败不能说明系统从未学到任何物理，一次成功同样不能说明它掌握了稳定规律。需要的是成组、可控并能定位变量的测试。

WorldModelBench 面向视频生成模型构造物理与指令遵循评价，使用成对条件和人工标注检查生成结果是否满足世界规律与应用要求。²⁵ 它把视频当作输出证据，能够发现普通美学分数遗漏的穿透、状态变化或交互错误。其贡献不在给模型颁发“世界模型”资格，而在把物理可信从笼统印象变成可复核标签。

这类基准至少能暴露三种问题。第一，模型可能不保留对象属性，遮挡后改变颜色、形状或数量。第二，模型可能生成平滑却错误的相互作用，例如手未接触物体，物体已经移动。第三，模型可能满足局部物理，却不满足文字要求的事件顺序。把物理与指令分开，能避免一种成功掩盖另一种失败。

物理、常识和叙事规则也不应混成一类。石块向上飘可能违反普通重力预期，却可以在失重场景中成立。一个人把未开封的雨伞撑在室内不违反物理，只是较不常见。镜头先出现碎杯再回到完整杯子，可能是倒叙而非状态错误。评测必须结合提示和媒介条件，否则会把罕见但可能的事件判成违反规律。

基准也有明显边界。提示通常较短，场景数量有限，人工标签依赖可见结果。模型可能学会基准中的表面模式而不获得可迁移规律；复杂现实中的摩擦、流体、软体、断裂和人体接触也难以被少数任务覆盖。视频得分只能说明在该协议下输出较符合规则，不能直接说明内部模型在新动作和长时展开中仍可靠。

低分辨率反例尤其能说明画质与规则的分离。一个简化模拟器可能只画出方块、圆球和粗糙轨迹，却严格保持质量、速度和碰撞关系；另一个模型可以生成电影级杯子和水花，却让物体无因穿透。若用途是广告，后者可能更有价值；若用途是比较机械臂动作，前者反而更可靠。物理评测的任务不是取消美学质量，而是防止美学质量代替结构证据。

诊断还应主动改变条件。只让杯子从同一高度落到同一地面，系统可以复用熟悉模式；改变材质、质量、初速度和接触面，才能观察规律是否迁移。再把两个变化组合起来，可以检验模型是抽取了关系，还是记住最相似案例。条件控制越明确，失败越容易定位，也越少依赖观看者对“看起来差不多”的宽容。

Sora 的公开技术报告提供了一个具有代表性的自我限定。报告展示了动态相机下的三维一致、部分长时对象持存和简单状态改变，同时明确承认基础交互物理、物体状态变化、长时连贯和物体无故出现等失败。²⁶ 这组材料既不能被简化为“已经成为模拟器”，也不能被简化为“只是像素拼接”。较准确的说法是：大规模视频生成出现了若干可被解释为世界结构的行为，但这些行为并不稳定，且公开证据主要来自定性观察。

最强反对意见是：如果模型充分学习真实视频分布，对象和物理会自然涌现，没有必要另外设计状态或因果目标。这个主张有经验可能性。影像确实包含丰富规律，生成任务也会迫使系统压缩其中一部分。问题在于，“会涌现”不能停留为预期。我们需要看能力是否随规模稳定改善，是否能跨分布迁移，是否在改变初始条件和动作后仍成立。现有基准显示的通常是局部、不同步的改善，而不是所有世界能力共同出现。

因而，物理基准的作用是提出更窄、更强的问题。与其问模型是否理解物理，不如问：它是否保持固体不穿透，是否让碰撞后的速度随质量或方向改变，是否让已破碎对象在后续保持破碎，是否在相同场景中响应不同动作。这些问题仍不穷尽因果，却比观看一段精选视频更接近可检验结构。

案例框 1　同一只球，三种“正确”

情境：提示要求“一只红球从斜坡滚下，撞到木块后停住”。模型生成的视频画面清晰、运动平滑，球也在末尾停止。

检验：第一轮只看观看质量；第二轮逐帧追踪球的大小、遮挡和接触；第三轮改变斜坡角度、木块质量和初始速度，比较结果是否按条件变化。

可能结果：模型在第一轮成功，第二轮出现球在接触前减速，第三轮对三种条件给出几乎相同轨迹。

判断：第一轮支持观察生成，第二轮暴露事件次序错误，第三轮说明条件没有稳定进入动力学。一个样本可以同时“看起来正确”“过程错误”“干预不敏感”。评测应分别记录，而不是用一个好或坏概括。

这个案例把物理评测分成观看、过程和干预三层。下面转向动作与交互时，第三层将成为关键。

六　桥梁出现在动作和交互中

视频生成与行动型世界模型的关键差别，可以通过一个小改动看见。普通图像到视频模型接收首帧，生成一种可能未来；动作条件模型还接收“向左推”“抬起”“前进”等行动，要求输出随行动改变。此时，模型不能只延续画面，还要区分不同干预。

AVID 展示了这种适配思路。研究者不直接修改闭源预训练视频扩散模型的全部参数，而是训练一个适配器，利用较少的领域动作标注视频影响生成过程，使模型产生动作条件结果。²⁷ 这项工作并不证明任意视频模型都已具备世界状态；恰恰是新增动作数据和适配模块，让原来的观察生成器获得了更明确的行动接口。

UniSim 等研究则尝试从多种数据学习可交互视觉模拟器，用动作条件生成未来观察，并将模拟结果用于策略学习或迁移。²⁸ 这比自由视频生成承担更强合同：同一初始状态下，不同动作要得到相应后果。失败动作不能总被生成器美化为成功。模型误差若被策略利用，会在真实执行中暴露。

动作标注数据比普通网络视频稀缺。公开视频记录了人和物体怎样变化，却很少精确说明智能体在每一时刻施加了什么控制、力或关节命令。机器人数据提供这些信息，采集却昂贵、设备相关且伴随安全限制。适配路线的吸引力正在这里：先从海量无动作视频学习外观与常见变化，再用较少动作数据建立干预接口。但前一阶段学到的相关性是否足以支撑后一阶段，仍需实验回答。

交互还把开环生成变成闭环过程。开环视频从初始条件一次生成到底，中途不会因为真实结果偏离而修正；闭环系统执行一个动作，接收新观察，更新状态，再选择下一步。即使单次预测误差很小，连续滚动也可能偏离；闭环观察为模型提供纠错机会。对机器人而言，能否在误差后恢复，常常比一条完美演示更重要。

动作条件仍不是终点。模型可以生成看似正确的行动视频，却在长时滚动中累积小误差。可以对训练动作可靠，却无法处理新策略带来的分布变化。可以预测平均结果，却漏掉少见但危险的失败。若目标是具身决策，评测就要从画质逐步走向动作忠实、策略排序、规划成功、闭环有效和实际策略改进。近期的决策中心评测框架正是用证据阶梯表达这种要求。²⁹

最严格的检验不是让模型重复一条成功动作，而是给它可能失败的动作。抓取位置偏了一厘米，杯子是否滑落；机械臂过早松手，结果是否保持失败；策略故意寻找模型漏洞时，内部预测会不会提供现实中不存在的捷径。生成系统若总倾向于输出训练数据里整洁的成功结局，恰好会成为规划器的危险环境。世界模型必须忠实地保留失败，而不只是善于生成理想未来。

这条桥也可以反向理解。世界模型未必需要生成可观看视频，但视频输出为人提供了检查窗口。工程师可以看到预测中的穿透、消失和错误接触，比较动作分支，并据此发现潜在状态的问题。可观看观察因此既可能是最终产品，也可能是调试模拟器的接口。它的价值不能被“只是像素”一笔取消。

第一章区分了帧连续、对象持续和事件规则；本章说明，现代视频生成在潜空间中用扩散或 Transformer 处理这些负担，并用越来越细的基准检查输出。所得判断应保持精确：视频生成系统能够产生复杂、连续、受条件控制的观察。若要进一步声称它维持状态、响应行动或支持规划，就必须增加与主张匹配的接口和证据。

第 3 章将转向另一侧。那里不再以可观看画面为中心，而研究系统怎样从观察历史形成状态，怎样在潜在动力学中展开后果，以及为什么 MuZero、Dreamer 和 JEPA 可以舍弃大量视觉细节。视频生成与世界模型的关系不会被切断；它们将在观察、状态和行动的接口处重新相遇。

注释

---

第三章　表示状态、预测后果的机器

一辆无人车驶近十字路口。前方是红灯，路边有行人，挡风玻璃上沾着一小块灰尘，夕阳在柏油路面留下反光。如果任务是生成下一秒视频，这些细节都应得到处理：行人的腿继续移动，反光随视角改变，灰尘仍固定在镜头前。若任务是判断现在应该刹车还是前进，信息的重要性会重新排列。灰尘形状大概无关紧要，红灯、行人运动方向、前车距离和本车速度却必须保留。

这个差别是理解世界模型的技术入口。摄像机交付观察，行动者需要状态。观察是某个位置、某种传感器和某一时刻得到的材料；状态则概括那些足以说明当前情况、预测后续变化并支持行动的条件。二者常有联系，却从不天然等同。

从门口、窗边和天花板摄像头看同一个房间，会得到三幅差异很大的图像，我们仍认为它们与同一环境状态有关。反过来，两张几乎一样的照片也可能包含不同状态：静止的球可能正要向左滚，也可能刚从左边滚来；只看一帧无法得知速度。世界模型不能只把图像存进更小文件。它必须决定哪些差异值得保存，哪些可以舍弃，以及内部状态如何随时间和动作变化。

本章讨论的“世界模型”采用一个最低操作性定义：系统从观察历史形成某种内部状态，学习或利用状态随时间、事件和动作变化的规则，并让这种状态接受预测、规划或控制任务的检验。这个定义不要求输出可观看画面，也不暗示系统具有人的世界经验。它只说明：模型的价值不再主要由画面像不像决定，而由它能否为后果判断保留正确差异决定。

图3-1　观察—状态—行动—后果。世界模型用历史观察形成潜在状态，在候选动作下预测后果；真实执行产生的新观察再校正状态，从而构成闭环。

一　观察为什么不等于状态

现实中的行动者通常看不见环境全部。机器人站在桌子一侧，只看见杯子正面；汽车前方的卡车会遮住行人；游戏角色进入房间后，身后的走廊便离开屏幕。若系统把当前图像直接当作完整状态，对象一旦离开传感器，就等于从它的世界中消失。

这类环境被称为部分可观测。环境在某一时刻具有影响后续结果的条件，行动者却只能收到其中一部分观察。行动者需要结合过去观察、已经执行的动作和当前传感器输入，估计现在可能处于什么状态。估计可以是一个压缩向量、一组对象与关系，也可以是一种概率分布；内部形式不必与人的描述相同。

回到桌上的杯子。机械臂手爪合拢时会遮住杯身，摄像机暂时无法确认杯子是否抓稳。历史提供两类证据：抓取前杯子在哪里，手爪以怎样的轨迹接近。动作又提供第三类证据：夹爪已经闭合到什么程度。模型若把这些材料汇入状态，就能在杯子不可见时维持“已经抓住”“可能滑落”等候选情况，而不是只根据当前像素重新猜测。

状态因此带有推断性质。它不是现实本身，也不是一份保证正确的登记表。行人走到卡车后面，可能继续前进，也可能停下；球滚进桌后，可能撞到障碍，也可能从另一侧出来。合理系统需要保留不确定性，或者至少让不同未来保持可区分。若只保存一条最顺畅轨迹，猜测就会被当成事实。

这也是视频生成与行动状态的分界。生成器可以从多种未来中选一条，向观看者交付完整成片；行动者必须考虑未被选中的分支。穿过路口时，低概率行人出现也可能足以要求刹车。对创作任务而言，多样采样是能力；对安全决策而言，概率校准和风险覆盖同样重要。

状态还受到任务筛选。赛车控制需要道路曲率、车辆位置和速度，不必精确保存云朵形状。仓库机器人可能忽略墙面海报，却不能忽略地面透明薄膜。棋类程序无需知道棋子由木头还是塑料制成。状态不是现实的等比例缩小版，更像为某类预测和行动准备的工作表示。

这份工作表示可以采用很不相同的形式。对象中心的系统把杯子、桌子和手爪分别列出，再记录位置、速度与接触关系。稠密潜变量系统不预先划定对象，只在连续向量中保存能够降低预测误差的结构。混合系统则可能同时使用空间特征图、全局循环状态与显式动作标记。三种形式没有脱离任务的优劣顺序。对象列表便于追踪和解释，却会在烟雾、液体、布料等难以分割的现象上吃力。稠密表示能够容纳连续变化，却很难说明某个错误究竟来自哪个对象。混合表示增加灵活性，也增加训练与诊断成本。

状态还必须回答“同一性”问题。杯子从桌面移到手中，图像位置、尺度、可见面乃至光泽都变了，模型仍要让这些变化属于同一个对象的历程。若每帧重新编码而没有跨时约束，状态会把连续行动拆成互不相干的切片。反过来，若为了稳定而拒绝更新，杯子破裂后仍可能被记作完整杯子。好的状态既要维持对象，又要允许对象改变；既不能让暂时遮挡造成消失，也不能让先前记录压倒新证据。

由此可以区分“压缩率”与“结构质量”。两个编码器都把百万像素压成同样长度的向量，其中一个可能保留背景纹理，另一个保留速度、深度和接触。向量长度相同，不意味着对行动同样有用。世界模型的核心问题不是把数据压得多小，而是在有限容量中保存哪些不变量、变化量和不确定性。

这个筛选带来根本困难。今天无关的细节，明天可能变得关键。只为固定奖励优化的状态，在任务改变时可能立即失效。原本不必保存的材质，在“移动杯子”变成“判断杯子是否会碎”以后就成为必要条件。所谓充分状态总是附带任务、时间范围和允许误差；没有脱离用途而绝对充分的压缩。

二　部分可观测与循环状态空间模型

世界模型怎样把历史变成当前状态？一种基本办法是让内部状态循环更新。每得到新观察，系统便把它与旧状态、上一动作结合，形成新状态。旧状态并非就是保存所有历史帧，而是对历史中仍与当前有关部分的压缩。这个更新过程持续进行，使很早出现、后来暂时不可见的信息仍可能影响当前行动。

PlaNet 使用的循环状态空间模型通常简称 RSSM。它把确定性循环状态与随机潜变量结合：循环部分汇集历史，随机部分表示环境中尚未被观察确定的变化。系统根据先前状态和动作预测下一潜在状态，再用新观察修正估计。³⁰ 对非专业读者而言，可以把它理解为一份不断更新、允许不确定性的内部记录，而不是某一帧的副本。

“确定性”与“随机”在这里是数学部件的性质，不是说环境一半受规律控制、一半毫无规律。循环状态可以稳定携带动作和历史，随机变量则帮助表达同一过去可能通向多个未来。二者共同服务于一个目标：用紧凑状态预测观察、奖励或任务终止等信号。

概率分布尤其重要，因为部分可观测不是普通噪声。一个抽屉关闭后，钥匙可能在左格，也可能在右格；当前画面没有足够证据把两种情况平均成“钥匙在中央”。平均位置并不是一个真实候选状态。模型若只输出单一点估计，会把彼此排斥的可能性揉成一个虚构答案。随机潜变量、粒子式候选或其他多模态表示虽然实现不同，目的都是保留分支，而不是用平滑数值掩盖无知。

状态更新也有时间尺度。车轮转速在几百毫秒内变化，红绿灯相位持续数十秒，道路施工格局可能维持数月。一个单尺度循环向量要同时保存这些信息，容易让快速变化淹没慢变量，或让稳定背景占满容量。分层状态可让快速动力学处理局部运动，让慢速变量记录场景布局、任务阶段和长期约束。所谓“当前”因而不是无厚度的一点，而是若干时间尺度在此刻的汇合。

状态空间模型区分了两种更新。没有新观察时，系统可以根据当前状态和动作向前预测，得到先验状态；收到新观察后，再把预测与证据结合，得到后验状态。机械臂在内部试演候选动作时主要使用前一种；真实执行并看到杯子位置以后，使用后一种纠正。开环预测与闭环校正由此接在同一个状态表示上。

这种结构也可能失败。循环状态容量有限，早期信息会被遗忘。随机预测可能低估罕见结果。编码器若没看见细小对象，状态更新也无法保留。动作分布一旦超出训练范围，转移模型会产生系统偏差。RSSM 提供的是处理部分可观测问题的一种工程方案，不是对象持存或因果性的保证。

“记忆”一词在这里也要节制。论文中的记忆指历史信息对当前计算的持续影响，不表示系统回忆往事的主观经验。一个递归向量可以在任务上发挥记忆功能，却没有理由被当作人的记忆活动。后文把它与康德的再生综合对读时，比较的仍只是功能问题。

案例框 2　画面相同，状态不同

情境：两扇外观完全相同的门都处于关闭状态，一扇没有上锁，另一扇已锁。当前图像几乎无法区分。

检验：系统先观察此前动作：第一段历史中有人只把门带上，第二段历史中有人转动钥匙。随后让规划器选择“直接推门”或“先取钥匙”。

可能结果：逐帧视频模型只看当前画面，对两种历史给出相同未来。带循环状态的模型保存了上锁事件，选择不同动作。但若钥匙转动被遮挡，后者也应提高不确定性，而非假装知道。

判断：状态不是当前画面的压缩同义词，它包含对后续预测有用的历史。部分可观察条件下，正确行为有时表现为区分两个相似观察，有时表现为承认无法区分。

案例框中的门说明，潜在状态首先要保存会改变后续行动的历史；接下来几条世界模型路线正是在不同任务中实现这种保存。

三　World Models、PlaNet 与潜在动力学

2018 年的《World Models》用三个简写部件展示了神经网络世界模型的直观形式。视觉模型把高维画面压缩为潜在表示；记忆模型根据先前潜在状态和动作预测后续；控制器利用这些信息选择行动。研究者还让控制器在模型生成的内部环境中训练，再回到原任务执行。³¹

论文把内部环境称为 dream，容易让人联想到梦境。实际上，系统只是反复调用学到的转移模型，计算“若当前潜在状态如此，执行这个动作以后，下一状态可能怎样”。连续计算产生一条未在真实环境中发生的轨迹。它是模型生成的候选过程，不是心理体验。

这套方法的吸引力很直接。真实试错可能昂贵、缓慢或危险；内部模型若足够可靠，行动者可以先比较多种方案。但“足够可靠”并非就是每个像素准确。赛车环境中，模型可能需要保存道路、车辆和速度，不必还原远处山景。其质量要由控制结果检验，而不是由观看者是否喜欢内部画面决定。

PlaNet 把潜在动力学用于在线规划。系统从像素观察学习 RSSM，在每个决策时刻提出多组候选动作序列，在潜空间中向前展开，估计结果，再执行较有希望的第一个动作。得到新观察以后，过程重新开始。³² 这种滚动规划让模型不必一次制定完整长程计划，也让现实反馈不断纠正状态。

这种做法同时揭示了“预测后果”的三层含义。最窄的一层是下一状态：方向盘向左以后，车辆姿态如何变化。第二层是观察结果：姿态变化会使摄像机看到什么。第三层是任务结果：车辆是否偏离车道，长期回报如何改变。一个模型可以在第一层保留动力学，却不生成清晰画面；也可以在第二层生成漂亮视频，却错误判断碰撞；还可以直接预测奖励而省略多数视觉细节。讨论世界模型时若不说明预测的是哪一层，“准确”便没有确定对象。

规划还要求反事实区分。系统不能只续写训练轨迹最常见的后续，而要在同一状态下比较左转、直行、刹车等互不相同的动作。动作若只是与画面相关的标签，模型可能学到“经常发生什么”，却没有学到动作怎样改变后果。可靠的动作条件预测需要数据中存在足够干预差异，并在测试时检查改变动作是否造成方向正确、幅度合理的状态变化。

潜在规划节省了逐帧渲染成本，却把风险转移到内部状态。若压缩丢掉影响奖励的小物体，规划器甚至不知道自己遗漏了什么；若模型在某些动作上过于乐观，搜索会反复选择这些漏洞。越强的规划器越可能找到转移模型最薄弱的区域，因为它会主动寻找获得高奖励的异常路径。

因此，预测平均误差小不代表适合规划。训练数据中常见动作可能预测很好，规划器提出的极端动作却落在分布外。短时误差很小，连续展开后可能迅速偏移。视觉重建自然，奖励和终止条件仍可能错误。世界模型与规划器形成相互依赖：模型决定规划可见的未来，规划又会把模型推向最有利也最危险的边界。

四　Dreamer：在潜在轨迹中学习策略

PlaNet 每做一步都要在线搜索候选动作。Dreamer 采取另一种办法：它在学到的潜在动力学中生成大量轨迹，用这些轨迹训练行动者和价值函数。行动者学习在给定状态下选择动作，价值函数估计从该状态继续行动的长期回报。真实执行时，系统可以直接调用学到的策略，不必为每一步重新做大规模搜索。³³

论文把这一过程称为 latent imagination，中文常译为“潜在想象”。它的严格含义是：状态轨迹由模型计算产生，而非真实环境交互所得。系统不需要把每条轨迹解码成视频给人看，策略训练直接在潜在状态上进行。一个内部过程可以视觉粗糙甚至不可观看，只要它保留了奖励与行动所需结构，就可能非常有用。

这也说明世界模型不是一个独立完成任务的盒子。Dreamer 至少涉及表示、动力学、奖励预测、价值估计和策略学习。动力学准确并不保证目标合理，策略成功也不证明状态包含完整世界。工程结果来自多个部件配合，评价时应分别检查模型预测、价值排序和实际控制。

潜在想象的效率来自复用数据。一次真实交互得到的观察可以帮助更新模型，更新后的模型又能生成许多内部轨迹。对于现实机器人，这种节省尤其重要。但内部轨迹终究继承模型偏差。若模型从未见过杯子滑落，想象再多次也可能只生成成功抓取；策略会在一致却错误的内部环境中变得自信。

闭环数据因此不可取消。较好的系统需要周期性回到真实环境，让新的失败修正模型，再让修正后的模型改变策略。世界模型降低现实试错数量，却不能凭内部计算永久取代现实反馈。它越被用于新任务、新身体或新场景，重新校准就越重要。

模型与策略的这种循环也改变了数据分布。起初数据来自随机探索或旧策略；策略在内部轨迹中改善后，会访问旧数据很少覆盖的状态。模型偏差于是集中出现在策略最关心的地方。若只用固定测试集汇报一次平均分，便看不见这种共同演化。更严格的评价应在每轮策略更新后重新检查：新策略把系统带到了哪里，模型在这些区域是否仍可靠，新增真实数据是否真正缩小了关键误差。

长时预测不应简单理解为把一步模型重复更多次。每一步的小偏差会改变下一步输入，继而改变后续误差方向；偶然可相互抵消，也可能迅速放大。对控制而言，关键不只是最终画面差多少，还包括候选动作的优劣顺序是否被颠倒。若两条轨迹视觉上都不精确，但模型仍正确识别哪条会碰撞，它对规划可能尚有价值；若画面都很逼真，却把安全与危险的排序倒置，便是严重失败。

五　MuZero 与任务充分性

MuZero 把任务相关压缩推得更远。在围棋、国际象棋、将棋和 Atari 中，传统规划往往使用已知规则模拟下一步。MuZero 不预先得到完整环境规则，而是学习一个供搜索使用的内部模型。这个模型不重建观察，主要迭代预测即时奖励、状态价值和策略等与规划直接相关的量。³⁴

这挑战了“世界模型必须在内部复制世界”的直觉。棋盘材质、棋子重量和比赛地点都属于现实，却不影响合法走法与胜负。若内部表示保存的信息足以支持搜索，省略这些细节不是缺陷，而是任务设计的一部分。世界模型更像仪表盘：它不展示车辆每个零件，只保留速度、油量、警告和其他行动相关量。

任务充分性不能脱离任务。围棋模型不必知道棋子材质，机器人抓取却不能总忽略重量、摩擦和易碎性；导航系统可以省略物体纹理，寻找特定标志时纹理又变得关键。一个状态对固定奖励充分，不代表对新目标充分。通用系统若要服务多种任务，可能需要分层表示：既保留抽象行动变量，也让必要细节在任务变化时能够恢复或重新获取。

这里还应区分预测充分与控制充分。若只要求预测下一步奖励，模型可能利用偶然线索取得高分；若要求在环境变化后选择动作，这些线索会失效。训练场景中，地毯颜色也许总与杯子重量相关，系统便可能把颜色当作抓取力度依据。一旦换了房间，相关性消失。控制充分要求表示不仅在已见分布上关联目标，还要在动作干预、场景替换和目标变化时保留较稳定的关系。

因此，所谓抽象不是删除越多越好。好的抽象保留能跨观察变化与任务变化继续起作用的结构，坏的抽象只是把暂时测不到的误差藏起来。检验二者需要迁移：改变背景而维持动力学，改变目标而维持对象，改变动作而观察后果。若表示只在原训练组合上有效，它仍可能是高效专用工具，却不应被描述为通用状态。

MuZero 的成功也不能被解释为它获得了关于棋类世界的一切知识。它证明学习到的表示与动力学可以支持特定搜索和高水平决策。它没有证明内部状态具有人的棋局概念，也没有证明同一方法不加改变即可处理开放物理世界。恰当结论应与证据同样具体。

DINO-WM 从预训练视觉特征出发学习动力学并进行零样本规划，进一步显示世界模型可以把现成视觉表示当作状态基础，而不重建像素。³⁵ 这类方法效率很高，也暴露新的条件：任务目标必须在所用特征中可区分。若预训练特征对颜色变化不敏感，而目标恰好要求选择特定颜色，规划就会失去必要差异。

六　JEPA：预测表示，而不是还原像素

杨立昆提出的 JEPA 研究路线把“舍弃什么”放到学习目标中心。现实视频包含大量难以准确预测的细节：走出画面的人下一秒衣服每条褶皱、树叶受微风影响的精确位置、远处水面每一道反光。若模型必须还原所有像素，它会把大量能力用于不可预测细节，或者把多种未来平均成模糊结果。

联合嵌入预测架构改为在表示空间预测。系统把可见内容编码为上下文表示，把目标区域编码为目标表示，再训练预测器根据前者估计后者。预测结果不必解码成像素。抽象程度由编码器、遮挡方式和训练目标共同决定，而不是预先写入一组对象符号。³⁶

V-JEPA 将这一方法用于视频。它根据未遮挡的时空片段预测被遮挡片段的目标表示，不使用像素重建作为训练目标，也不依赖文字标签来定义动作类别。实验显示，学到的表示可用于多种动作与外观任务。这个结果证明表示预测能够学习有用视频结构，却并非就是 V-JEPA 已经形成动作条件世界模型。它主要从观察学习，尚未把自身动作纳入状态转移。

V-JEPA 2 进一步把大规模视频预训练与机器人动作数据连接。研究者在公开视频与图像上训练视觉编码器，再用规模小得多的机器人交互数据学习动作条件世界模型，使候选动作的预测表示可用于机械臂规划。³⁷ 从“接下来可能看到什么”到“如果这样做，接下来会怎样”，动作成为转移条件，表示预测才更直接进入决策合同。

这里的两阶段结构值得强调。大规模观察数据可以教编码器区分运动、对象与场景变化，却不能凭自身标明机器人某个控制量会造成什么。交互数据承担“动作接地”：把关节命令、末端执行器运动与后续表示联系起来。观察规模和行动规模不是同一种规模，前者扩大可见世界，后者确定身体能够怎样介入世界。把二者混为一谈，会高估纯视频预训练所能提供的控制知识。

目标表示同样构成规划合同。若任务以一张目标图像给出，规划器要寻找能让预测表示接近目标表示的动作序列。但“接近”取决于编码空间：它可能重视对象类别而轻视精确朝向，重视整体布局而轻视夹爪是否真正闭合。表示距离不是天然任务距离。每当系统用嵌入相似度代替人工奖励，都要检查这种相似度是否与真实成功条件一致。

舍弃像素也有风险。裂纹、液面高度、接触点和细小障碍有时正是因果关键。若编码器在预训练中认为这些细节不重要，后续世界模型很难恢复。抽象不是自动接近本质；它只是对某种任务和数据的取舍。较通用系统需要多尺度表示、不确定性估计，或者在任务改变时重新关注细节。

这也是 JEPA 与康德图式不能直接等同的原因。JEPA 预测器是训练得到的工程组件，康德图式讨论概念怎样获得时间规定。二者都让抽象结构与可能过程发生联系，因而存在可比较问题；但历史来源、认识论地位和机制完全不同。具体哲学对读留到第 6、13 章，本章只保留技术边界。

七　什么证据能够支持什么主张

比较到这里，可以看到“世界模型”至少包含三种不同成功。第一，表示成功：内部状态保留了下游任务需要的信息。第二，预测成功：模型在给定状态和动作下估计后果。第三，决策成功：规划器或策略实际利用模型改善行动。三者相关，却不能互相代替。

重建画面很好，不证明状态适合规划。线性探针能识别动作，不证明动作条件预测准确。短时预测误差低，不证明长时滚动稳定。离线数据上的策略排序正确，不证明优化出的新策略不会利用模型漏洞。决策中心的评测框架把从视觉可信到策略优化效用分成多个证据层级，正是为了阻止结论越级。³⁸

评价之前应先写“决策合同”：模型准备支持什么用途。若用于策略评估，就检查它能否正确排列候选策略。若用于在线规划，就检查动作分支、长时展开和搜索效率。若用于策略优化，就要观察在模型中训练出的策略回到真实环境是否提高。若用于安全决策，还需报告不确定性和罕见失败。没有用途说明，单一预测分数的信息有限。

策略利用模型误差是最强反例之一。模型在随机动作数据上看似准确，优化器却会寻找那些模型预测高奖励、现实无法实现的动作。这种 exploitability 不是普通平均误差能发现的。需要让强规划器主动攻击模型，在分布偏移和长时滚动中检查漏洞，并用真实环境或高可信模拟器复核。

此外还要报告失败的形状，而不只是失败总数。对象遮挡后丢失、接触发生前穿透、动作延迟被忽略、长时轨迹逐渐漂移，分别指向状态更新、局部物理、控制接口和滚动稳定性的问题。把它们压成一个分数，会让改进无从下手。一个可用评测应把误差定位到观察编码、状态转移、动作条件、奖励预测或策略调用的具体环节。

不确定性也要与行动阈值连接。系统说“有百分之十概率碰撞”并不自动决定是否刹车；还需要损失结构、替代路线和风险容忍度。世界模型负责描述后果分布，决策规则负责选择。若把保守策略的成功全部归功于模型，或把冒险策略的失败全部归咎于预测，都会混淆部件责任。证据合同必须说明模型输出如何进入最终行动。

世界模型还必须允许失败。机械臂抓偏，预测中杯子就应滑落；动作过快导致碰撞，内部轨迹不能为了“合理”而自动修正为成功。视频生成偏好流畅、典型结果，行动模型则必须忠实保留尴尬、少见和危险后果。对行动者而言，错误未来往往比漂亮未来更重要。

还可以用三个反事实问题做最低审查。第一，观察不变而状态改变时，模型能否区分？同一张路口图像，本车速度不同，刹车距离就不同。第二，状态相近而动作改变时，模型能否给出不同后果？同一机械臂姿态，向前与向后命令不应生成同一轨迹。第三，动作相同而隐藏条件改变时，模型能否保留多个结果？同样提起外观一致的纸箱，内部重量不同会造成不同加速度。三个问题分别检查历史、干预和不确定性；任何一项缺失，画面预测都可能在行动时失灵。

这种审查也阻止我们把内部状态当作小型现实。状态是系统与任务之间的接口：上游观察决定它获得什么证据，下游用途决定哪些差异必须保留，学习数据决定它在哪些区域可靠。接口可以非常有效，却总有适用边界。称一个系统拥有世界模型，最有信息量的说法不是“它内部有一个世界”，而是指出这个接口让哪些后果变得可预测、哪些行动变得可比较、哪些失败仍不可见。

因此，本章并不把“状态”树立为比“观察”更真实的东西。观察受视角限制，状态受建模目标限制；观察会遗漏遮挡处，状态会遗漏训练者未要求保存的差异。二者通过不断校正形成工作闭环：观察约束状态，状态提出预测，行动使预测接受新的观察检验。世界模型的技术意义正位于这个循环中，而不在某个静止向量本身。

本章最终得到的不是一个新的二元定义，而是一套说明模板：模型从哪些观察形成状态，状态保存什么、丢弃什么，动作如何进入转移，预测输出被谁使用，证据在哪些范围成立。World Models、PlaNet、Dreamer、MuZero、DINO-WM 和 JEPA 没有共享同一种内部世界；它们共享的是把历史压缩为可预测结构，并用任务检验这种结构的研究方向。

第一部至此完成了两类机器的技术界定。视频生成面向可观看观察，世界模型面向状态、后果和行动；二者可以共享数据与架构，也可以通过动作条件和表示预测相互转化。下一部将转向康德。但康德不会提供神经网络设计图，而会帮助我们追问：空间与时间怎样组织给予，对象怎样在变化中保持，规则怎样使相继成为事件，一个统一经验又需要什么条件。

注释

第二部（上）：康德条件

第四章至第六章：空间、时间、综合与图式

第四章　空间与时间：经验出现的形式

设想两段视频都表现一个人把玻璃杯放到桌上。第一段每秒二十四帧，动作持续两秒；第二段每秒四十八帧，动作仍持续两秒。若只按帧号比较，第二段的第十帧并不对应第一段的第十帧。若把第一段隔帧抽取，帧数减少，动作却不应因此加速；若把画面倒序排列，所有单帧仍可能逼真，放杯子却变成杯子从桌面跳回手中。

这些操作说明，空间和时间并不只是已经完成的图像所附带的两个标签。系统怎样划分画面、怎样指定相邻、怎样保留先后，会决定哪些元素能够被关联，何种运动能够出现。视频模型必须以某种结构处理空间与时间，否则输入只是无位置、无次序的数据项。

康德也把空间和时间看作经验的条件，但他的论题远比“对象都有坐标和时间戳”更强。在《纯粹理性批判》的先验感性论中，空间与时间不是从许多对象身上总结出来的普通属性，而是对象能够向我们显现的感性形式。³⁹ 本章要先恢复这个论题的力度，再把它与视频模型中的位置编码、时空注意力和数据采样对读。

对读的规则从一开始就要明确：功能上可以相合，概念上不能等同。模型架构规定数据怎样被计算地组织，康德则追问人的经验何以可能。前者可由工程师替换、训练和测试，后者在论证中具有先验地位。相似处在“组织条件”，差异处在条件属于谁、怎样获得、能否替换，以及它声称具有何种必然性。

图4-1　空间与时间：问题层级不同。康德讨论经验何以可能，工程模型处理可计算的时空关系。二者可在“统一多样观察”的问题上对读，但不能把网络结构等同经验主体。

一　一个对象怎样被给予

在日常说法中，“对象被给予”听起来像快递送到门口：对象已经完整存在，感官只需接收。康德所问的不是物理对象怎样抵达眼睛，而是某物如何能够成为我们直观中的对象。这里需要三个彼此关联的词：感性、直观、形式。

“感性”不是情绪丰富，而是我们以受动方式接受表象的能力。某物影响我们，我们获得颜色、声响、冷暖、坚硬等材料。与之相对，知性以概念思考对象。二者并非两套互不相干的装置：没有感性，概念没有被给予的对象；没有知性，感性材料也还没有成为被判断的经验对象。第二部以后几章将逐步讨论这项合作，本章只处理感性这一侧。

“直观”不是灵光一现，也不是未经论证的猜测。康德用它指表象与单个对象直接相关的方式。眼前这只杯子以某个位置、朝向和外形出现；概念“杯子”则可以适用于许多不同杯子。直观给出个别，概念提供一般规则。说空间和时间是直观的形式，意思不是它们也是某种可见对象，而是个别事物在感性中只能以空间关系或时间关系出现。

“形式”也不是外壳。感性表象有材料和形式：材料大致是感觉所提供的具体内容，形式则使杂多能够按照某种关系被安排。红色可以出现在左边或右边，声响可以在另一声之前或之后；红与响属于材料，左—右、之前—之后表达安排方式。把形式理解为容器会误导，因为容器本身仍是一件在空间中的东西；康德追问的恰恰是，任何外部容器为什么都已经只能在空间中被表象。

最后是“先验”。在本书中，它并非就是“训练以前”，也不能直接推出统计模型中的 prior。康德所谓先验认识不依赖某次具体经验取得，并且相关论证关注经验可能性的条件。“先验”与“先天”在他的用法中相连，但侧重点不同：先天强调不从经验取得，先验考察这种认识怎样可能、怎样应用于对象。⁴⁰ 若把预训练参数称作“模型的先验”，那是现代工程术语；它并不会因此获得康德意义上的地位。

因此，先验感性论的问题不是：人脑是否天生写有一套欧几里得坐标程序。它也不是关于婴儿何时学会深度知觉的心理发展报告。康德采用的是条件性追问：如果我们能够经验外部对象和内部状态，这些对象必须以何种方式被给予？他的回答是，外感官的纯形式是空间，内感官的纯形式是时间。

“纯”在这里表示把具体感觉材料抽去后仍可考察的形式。我们可以想象一个没有红杯子、蓝桌布和钟声的空空间，却很难把外部对象想成完全不在空间中。也可以把某段经验内容逐一去掉，却仍以先后、同时或持续来安排表象。这个思想实验不是现代实验心理学数据，而是康德论证策略的一部分。

它同时改变了问题方向。经验论式直觉会说，我们先遇见许多并列对象，再抽象出空间；先经历许多事件，再抽象出时间。康德反问：若没有并列、相邻、先后和持续的安排方式，那些“许多对象”和“许多事件”最初怎样能够被分辨？从经验抽象出来的东西，已经预设经验材料可以如此排列。空间和时间因此不能只被当作归纳结果。

二　空间不是对象身上的普通属性

康德对空间的论证分成若干层次。第一，空间表象不能简单从外部经验抽取。为了把某个感觉关联到“我之外”，并把多个对象表象为彼此外在、相邻或分离，我们已经使用空间关系。孩子可以在经验中学会“左”“右”等词，也可以修正距离判断；但可学习的具体判断与使外部杂多得以并列的形式不是同一层次。

第二，我们能够表象没有对象的空间，却不能把外部对象表象为完全没有空间关系。房间可以被想成空房间，道路可以被想成没有车辆的道路。反过来，一辆车若既不在这里也不在那里，既没有大小也不与其他东西分离，它便不再作为外感官对象出现。康德据此说，空间是外部显现的必要条件，而不是依附对象、偶尔出现的性质。

第三，空间首先是单一的纯直观，而不是由许多独立空间概念拼成的总类。我们说几个房间、几个区域，指的是同一空间的限制部分；它们之间能够连接，正因为被理解为更大空间中的位置。一般概念通常把许多个别实例收在其下，“树”不包含所有树作为自身片段；空间的诸部分却被想作一个空间之内的部分。这是康德区分直观与概念的重要依据。

第四，空间被表象为无限给予的大小。任何划定边界之外仍可继续延展；有限区域是对空间的限制，而不是由有限实例概括出一个“空间类”。这些论证服务于同一结论：空间不是从对象比较中迟到的概念，而是外部对象得以显现的形式。先验感性论在 A22/B37 至 A25/B41 给出空间的形而上阐明，并进一步以几何学的可能性讨论其先验阐明。⁴¹

这并不意味着康德说桌子、道路和星球只是脑内幻觉。一个关键组合是“经验实在性”与“先验观念性”。空间对一切可能外部经验都有效；在经验层面，桌子真的在杯子下方，车辆真的可能彼此碰撞。可是空间不能被越过我们的感性条件，直接断言为物自身必定具有的属性。对象就其向我们显现而言处于空间中；对象离开这种显现关系究竟怎样，先验感性论不授权我们同样断言。

这一区分既反对朴素实在论式的越界，也反对“既然是形式，所以一切随意”的误读。空间关系不是个人随心投射的图案。正因为人类外感官共同受这一形式制约，经验判断才可具有公共有效性。测量会错，透视会骗，地图会变形，但这些错误仍只能通过更好的空间关系被纠正。说木板看起来斜却实际平直，不是离开空间，而是在观察位置、尺度与对象形状之间重新建立一致关系。

相机运动与对象运动可以显示空间组织的难题。画面中杯子向右移动，可能是杯子真的移动，也可能是相机向左平移。单个像素轨迹不能独自裁决。需要把视点、背景、遮挡和深度关系放进更稳定的场景结构。康德没有为视觉算法提出“相机位姿”变量；但他的追问提醒我们，对象位置不是某个局部感觉自身携带的标签。位置只有在一个关系整体中才有意义。

工程上常把空间离散为像素网格或潜在特征块。这些网格能给每个元素地址，却未必给出三维对象空间。二维画面的左侧，可以对应三维场景中的远处；相邻像素可能来自深度差很大的两个物体；同一物体旋转后会占据完全不同区域。空间地址是建立关系的起点，不是空间理解完成的证明。后文第 14 章讨论空间智能时，将进一步区分图像平面一致、三维持存与可行动空间。

三　时间不是帧的计数器

时间的论证与空间平行，却不完全对称。空间是外感官的形式；时间是内感官的形式，是我们表象自身状态的方式。所有表象，无论是否关于外部对象，都作为我们的表象处在时间中。因此，时间直接规定内部显现，也间接规定一切外部显现：即使一座山作为外部对象在空间中出现，我们对山的观看、记忆和判断仍有先后与持续。

康德首先指出，时间不能从经验中的同时或相继抽取，因为我们若不预先表象时间，就不能把两个事件判断为同时或先后。两个钟声不是先作为无序材料出现，比较以后才发明“先后”；我们能够把它们认作两个钟声，已经需要一个相继次序。具体时距可以借钟表学习和校准，但事件得以按相继被给予的形式不能由这些测量结果解释。

其次，现象可以从时间中消失，时间本身却不能被取消。我们可以表象一段空等候：没有显著事件，仍有持续；也可以想象所有熟悉声音停止，却不能把这段停止既不置于之前也不置于之后。康德据此把时间视为一切显现的必要条件，而非事件身上的一个经验属性。

时间也不是许多“时间实例”的一般概念。不同时间只是同一时间的部分；它们不能真正同时作为彼此分离的时间存在，否则便需要另一个时间说明它们怎样同时。时间的部分依次展开，而不是并列装入一个种类。我们所说的“一分钟”“一小时”是对同一时间的界定和度量，不是两种各自独立的时间对象。

进一步说，时间被表象为无界延展。任何确定时段都有之前和之后，界限只能在更大的时间中划出。先验感性论在 A30/B46 至 A36/B53 给出这些论证，并在随后讨论时间的经验实在性与先验观念性。⁴² 对经验中的一切变化，时间关系具有有效性；但不能据此把时间当作脱离人的感性条件、独立流动的物自身属性。

这正是为什么“时间等于帧号”过于草率。帧号只是离散序列中的地址。它可以从零开始，也可以从一开始；可以每秒取二十四个，也可以取四十八个；丢帧后可重新编号，事件的实际持续却不应随编号改变。时间戳比帧号多给出采样间隔，但仍是测量和编码，而不是被测持续本身。

同一动作以不同帧率记录，是最直观的例子。二十四帧版本中相邻画面相隔约四十二毫秒，四十八帧版本约二十一毫秒。若模型把“相邻一帧”学成固定运动单位，那么换帧率以后，同一速度会显得减半或加倍。它需要让位移与时间间隔共同决定速度，或者把采样率明确纳入条件。单纯保持 token 顺序，不能保证获得采样率不变的动力学。

倒序播放又说明顺序与客观事件结构并非一回事。编号可以把杯子触桌后的画面放在触桌前，序列形式仍完整，事件解释却改变。康德在先验感性论中确立时间作为给予形式，还没有说明我们怎样区分主观表象顺序与对象的客观相继。这个更强的问题要到经验类比、尤其第二类比的因果规则中处理，本书第 8 章将专门讨论。

暂停画面也不能直接推出暂停时间。视频可以连续复制同一帧，画面内容不变，播放仍持续；现实中的静止对象也在时间中保持。变化需要时间，时间却并非就是变化的总和。若把时间只定义成像素差，完全静止的镜头就会“没有时间”，而相机噪声反而会被当作大量时间。这种混淆在技术评价中很常见：帧间差异测到的是视觉变化，不是时间形式本身。

四　模型怎样制造可计算的时空关系

视频模型接收的通常不是康德意义上的直观，而是数组。解码后的视频可表示为时间、高度、宽度和颜色通道组成的张量；潜在视频则把像素压缩成特征块。数组索引规定元素存放在哪里，但模型未必自动利用这些索引。若把所有特征块交给一个对排列不敏感的运算，而不提供任何位置线索，左上角和右下角、第一帧和末帧在计算上可能没有区别。

卷积通过局部核建立空间邻接：相近像素共享运算，同一局部模式可在不同位置被识别。时间卷积把类似原则沿帧序列展开。注意力机制则让一个位置根据内容与其他位置交换信息；位置编码、相对位移或旋转式编码等机制告诉系统，两个 token 不只内容不同，还处在何种相对位置。所谓时空建模，首先就是决定谁能与谁关联、关联成本怎样分配。

早期视频扩散工作常从图像扩散架构扩展，在已有二维空间处理之间插入时间注意力或时间卷积。Jonathan Ho 等人的《Video Diffusion Models》展示了这类空间—时间分解设计：空间模块可从图像模型初始化，时间模块再处理跨帧关系。⁴³ 这种设计带有明确归纳偏置——同一帧内先共享空间信息，再沿时间连接对应特征。

Latte 把潜在视频切成 token，并比较多种空间与时间 Transformer 分解方式。有的变体先在每帧内部做空间注意力，再沿同一空间位置做时间注意力；有的把空间块和时间块交替处理，也可以采用不同的联合方式。⁴⁴ 多种架构都能生成视频这一事实很重要：工程中的时空“形式”不是唯一不可替换结构，而是计算成本、数据规模和任务效果之间的设计选择。

分解也会带来盲点。若时间注意力只在固定二维位置上连接，快速运动对象跨越多个位置时，对应关系并不天然出现。若全局注意力让所有 token 相互作用，计算量会随序列长度迅速增加，并可能把无关区域混在一起。窗口注意力节省成本，却可能切断跨窗口长程运动。所谓邻接不是中性的：架构决定哪些依赖容易学，哪些需要很多层才能间接传递。

位置编码还可能失效。训练只见过十六帧，测试突然要求一百二十八帧，绝对位置嵌入可能无法自然外推；固定分辨率训练后改用长宽比极端的画面，空间位置分布也会变化。若模型把“第十六帧”与“动作结束”偶然绑定，延长片段以后可能提前收束。它学到的是数据集中的地址规律，而不是对任意时间尺度都有效的形式。

相机运动与对象运动的混淆进一步表明，提供坐标仍不足以说明获得场景结构。整幅画面向左平移，可能是相机向右，也可能是所有可见对象同时向左。训练数据若缺少视点变化、深度线索或动作条件，模型可以用常见视觉相关性生成流畅结果，却不必分离两种原因。二维 token 的时空连续只是观察连续，不自动成为三维世界中的运动解释。

数据管线本身也在规定时间。抽帧率、镜头切分、片段长度、是否打乱、音视频怎样对齐，都会改变模型见到的关系。若训练片段总在镜头边界截断，系统可能把十六帧当作事件自然长度。若运动被统一重采样，真实速度分布会被改写。若文本标注只说“人在跑”而不说快慢，条件信号便缺少时间尺度。模型的时间结构来自架构、目标和数据共同作用，不能只归给位置编码。

空间采样同样会改变可学关系。把宽银幕统一裁成正方形，可能截掉动作起点；把高分辨率缩小，细小物体会在某些帧消失；对每帧分别随机裁剪，原本静止的背景会显得晃动。数据增强若不在时间上保持一致，系统学到的运动就混入处理管线制造的运动。所谓“原始视频”已经经过一连串空间化与时间化选择。

这些工程机制确实具有条件作用。没有任何排列信息，Transformer 无法区分帧次序；没有跨帧共享，单图模型难以维持运动；没有时间间隔，速度难以跨帧率保持。可是这里的“条件”是相对于某套计算任务的条件：为了让这个系统处理这类数据，我们选择了某种结构。它并不因此成为一切可能经验的条件。

五　功能类比为什么成立

现在可以说明类比的正面价值。康德的形式论与模型的时空结构都反对一种朴素图景：先有一堆彼此完成的内容，再在末尾附加位置和时间。对康德而言，感觉杂多只有在空间与时间中才可被给予；对模型而言，token 若没有可计算的时空关系，便不能作为同一视频中的局部和阶段参与生成。组织不是装饰，而会改变什么内容能够出现。

第一处相合是差异的可表达性。左与右、先与后不是单个颜色块内部的性质。系统需要关系结构，才能把两个外观相同的球区分为“左边的球”和“右边的球”，把同两帧区分为“靠近”与“远离”。康德形式使感性杂多获得关系位置，工程编码使数据元素获得计算地址。两者都显示：内容的个别化依赖某种排列条件。

第二处相合是整体先于局部地址。康德把有限空间理解为一个空间的限制，把确定时段理解为一个时间的部分。模型的局部 token 也只在全局索引方案中获得地址；“第七帧左上角”以视频长度、帧网格和坐标原点为背景。孤立 token 不自带“第七”或“左上”。虽然两种整体的地位不同，但它们都让局部关系不能被还原成局部内容。

第三处相合是变换揭示结构。平移、裁剪、重采样和倒序并非只改像素，它们改变元素在关系系统中的位置。若模型对不该改变语义的平移过度敏感，或对应该改变事件的倒序毫无反应，我们便知道其时空组织有缺陷。康德的论证不是这种数据测试，但同样通过“能否取消空间或时间”的考察，区分内容可变与形式必要。

第四处相合是限制与可能性同时发生。网格、窗口和序列长度使计算成为可能，也使某些关系难以表达；人的感性形式使对象经验成为可能，同时把认识限制在显现方式之内。形式不是无限能力的来源，而是有代价的可见性结构。这个角度能阻止我们把归纳偏置只写成性能技巧：偏置让某些规律更容易出现，也让另一些规律更难出现。

不过，类比必须逐项标明层级：

比较项	康德的空间与时间	视频模型的时空结构
所组织者	人的感性杂多	数字化像素或潜在 token
条件对象	一切可能的人类显现	指定架构能够处理的数据与任务
来源地位	不从具体经验抽取的感性形式	设计、训练与数据处理共同形成
可替换性	在康德论证中不可由另一形式任意替换	卷积、分解注意力、位置编码等可比较替换
失败含义	若取消，相关对象便不能以该方式被给予	性能下降、外推失败或计算成本变化
主张强度	关于经验可能性及其界限	关于特定系统的功能条件

这张表不是把哲学概念翻译成模块。它的用途是保持问题对齐：双方都讨论组织条件，却在组织者、材料、来源与必然性上不同。只说“时空编码就是先验形式”，会把中间五列差异全部抹去；只说二者毫无关系，又会失去形式论对工程评价的启发。

启发之一是从结果倒查条件。生成视频中人物突然换到房间另一侧，我们不只问某帧是否失真，也问位置表示是否能跨时间维持关系。不同帧率下速度失真，我们问时间间隔是否进入状态。相机转动时物体布局崩塌，我们问观察坐标是否与场景坐标混淆。形式论提供的不是答案，而是一种诊断习惯：经验内容能否持续，取决于它被怎样组织。

启发之二是区分统计常见与结构有效。训练集可能让模型学到“第一个镜头通常是全景”“动作在片段末尾结束”。这些规律能提高常规样本质量，却可能在重排、延长或交互中崩溃。时空结构若只复制数据集位置偏见，就没有取得稳健的变换关系。工程上可以通过改变帧率、镜头长度、视点和对象速度来测试，而不是只看同分布生成。

六　类比在哪里停止

最强反对意见是：神经网络也能从数据中学习空间和时间，为什么不能说它获得了自己的先验形式？这个问题混合了三种“在先”。架构在一次推理之前已经存在；预训练发生在下游任务之前；某种表示又可能在处理后续 token 时充当前提。这些都是时间顺序或计算依赖。康德的先验问题却是，某种表象方式如何构成经验对象可能性的条件。计算上较早，并非就是认识论上先验。

模型结构首先是可替换的。同一视频任务可以采用三维卷积、空间—时间分解注意力、状态空间序列模型或其他机制；绝对位置、相对位置与无显式位置的特定结构各有办法。它们的效果可以通过消融实验比较，失败后可重新训练。正因为 Latte 等工作能比较多种分解变体，才显示工程形式具有方案性，而非康德所说的那种必要性。

其次，模型结构的适用域由数据表示预先限定。视频张量已经是相机、采样器、编码器和文件格式处理后的产物。像素网格怎样对应视野，帧率怎样对应持续，镜头切分怎样对应事件，都不是模型独自建立。模型可以学习张量内规律，却继承了测量装置和数据管线。把这些结构称为“世界本身的形式”，会漏掉媒介层。

再次，模型能拥有多套不兼容坐标。它可以分别处理透视图、全景图、点云和机器人关节序列，也可以把不同传感器对齐到共享表示。工程上，这种可转换性是优势；康德论证的不是主体随任务加载任意感性形式。即使未来系统能学习新的几何或时间尺度，那也首先证明其表示适应能力，不能直接证明它重演了先验感性论。

预测加工研究中有作者追溯康德式根源，强调自上而下预测、想象力与感觉材料之间的联系。这样的思想史比较可以揭示共同问题，却很容易把“先验”降格为神经系统中的概率预期。近期哲学讨论特别指出，概率先验来自学习、可以修正，并参与经验推断；康德的先验形式则具有不同的来源论证、规范地位和意识条件。⁴⁵ 名词相同，不足以跨过这些差异。

反过来，也不应把康德的形式冻结成现代神经科学中的内置坐标模块。先验感性论不是大脑结构假说，不能通过找到“空间细胞”被简单证实，也不会因某个模型从数据学会三维关系便被简单反驳。它提出的是关于对象显现与认识界限的论证。经验科学可以研究人类怎样实现空间知觉、怎样发展时间判断；这些结果会影响我们怎样评价康德，却不与其论题处在完全同一层级。

还需避免一个反向神话：既然模型的形式可替换，它就没有任何类似先验的约束。事实上，每个可运行系统都以某些结构开始，训练数据也只有在既定接口中进入。没有绝对无偏置的学习。问题不是“有无条件”，而是条件具有多大范围、能否改变、由什么证据识别。工程研究应把归纳偏置说清楚，而不是借“涌现”把设计与数据选择隐藏起来。

因此，本章可以给出一个受限结论。视频模型的时空架构在功能上像一种条件结构：它规定局部如何定位、相继如何连接、哪些变换容易保持。它不是康德意义上的先验形式，因为它面向的是经过媒介化的数据，可由多种机制实现，可在训练中改变，也只对特定任务显示必要性。两者之间是问题结构的类比，不是概念同一、历史预言或主体地位的转移。

这个边界对全书很重要。若过早把位置编码叫作空间形式，把帧序列叫作时间直观，后面所有哲学概念都会变成模块昵称。若拒绝比较，我们又看不见技术系统为何不能只靠单帧逼真构成世界。恰当做法是保留康德问题的强度，再把工程证据放到它真正支持的位置。

空间与时间使杂多能够被给予，却尚未说明杂多怎样成为同一对象。一连串帧处在次序中，不代表系统已经把不同外观认作同一只杯子；多个特征块有坐标，也不代表它们已经综合成一个对象。下一章将从形式进入活动，讨论康德所说的综合：领会怎样逐步把握，再生怎样让过去继续在场，认定又怎样使变化归属于同一对象。

注释

---

第五章　综合：从多帧到同一对象

一名演员面对镜头，转身，走到阴影里，再从门后出现。衣服的明暗变了，脸暂时不可见，轮廓因视角而改变。我们通常仍说：同一个人完成了这一连串动作。视频生成系统却可能在转身时改变发型，出门后换掉衣服纹样，甚至让手里的红伞变成蓝伞。每一帧单看都像真实摄影，跨帧看却没有同一个人物。

这种失败常被叫作“主体一致性”或“身份漂移”。若只把它归入画质问题，便低估了其结构。噪点、模糊和色偏会降低视觉质量；身份漂移则改变我们认为画面在说什么。人物从门后出来时，问题不是脸画得不够清晰，而是先前行动是否仍属于这个人物。系统若不能保持这种归属，就难以形成持续对象，更难形成由对象承担的事件。

上一章说明，空间与时间使感觉杂多能够以并列和相继的方式出现。但有位置、有次序仍不足以说明有对象。一百张按时间排列的杯子照片，可能表现同一只杯子旋转，也可能表现一百只相似杯子轮流出现。相邻像素不会自动宣布“我仍属于刚才那个东西”。从杂多到对象，需要一种连接活动。

康德把连接表象的活动称为“综合”。在《纯粹理性批判》第一版的先验演绎中，他以三重综合分析经验统一：直观中领会的综合、想象中再生的综合、概念中认定的综合。⁴⁶ 三者不是神经网络流水线，也不是三个可分别安装的模块。它们要说明，一连串表象为何能够作为关于同一对象的经验，而不是彼此消散的瞬间。

本章将用这组三分法审视视频和世界模型的对象负担。类比仍受严格限制：领会并非就是取帧，再生不等于缓存，认定不等于分类器；对象槽位更不是康德的实体范畴。我们只比较功能问题：怎样取得杂多，怎样让不在当前观察中的内容继续参与，怎样把变化认作同一对象的变化。

图5-1　从多帧到同一对象。领会取得连续差异，再生维持暂时不可见者，认定把变化归于同一对象；对象持存测试分别检查这三类负担。

一　帧为什么不会自己成为对象

“综合”在日常语言里常指写一份摘要，把现成材料汇总。康德的用法更根本。他把综合界定为把不同表象相互加以连接，并在一种认识中把握其杂多的活动。材料并非先天自带完成的统一；对象经验要求杂多被依一定方式结合。综合不是在对象完成以后附加说明，而参与对象作为对象被认识的过程。

这里最容易发生两种误解。第一种把康德读成“心灵随意制造现实”。其实综合受感性给予约束，也要服从使判断具有客观有效性的规则。看见桌上两个杯子，我们不能任意综合出三只。第二种把综合读成现代信息融合的古老名称，好像把摄像头、麦克风和触觉向量拼接便完成认识。数据拼接可以是综合的工程类比，却没有自动取得概念、判断与客观有效性。

为什么帧序列需要综合？先看最简单的运动知觉。球从画面左侧移到右侧。如果每一帧只交付一个独立圆形，我们得到的是许多不同位置的圆。要说“一只球移动”，至少要把位置变化归给一个持续项。若把每个圆都当新球，便没有运动，只有连续替换；若把所有圆同时保留在同一画面，又会得到一排静止球。运动不是帧的集合属性，而是按照时间把多样位置统一到同一对象的结果。

遮挡使问题更明显。球滚到挡板后，当前画面不再含有球的像素。几秒后它从另一侧出现，我们仍可判断是原来的球。这个判断依赖先前轨迹、速度、挡板结构和重新出现的位置。若系统只保存当前可见内容，它没有材料区分“球从后面出来”与“新球突然出现”。当前观察不足以确定持续对象，历史必须以某种方式继续有效。

视角变化又增加了外观差异。一把椅子的正面、侧面和背面可以几乎没有相同局部纹理；光线变化会改变颜色，距离变化会改变尺度，部分遮挡会改变轮廓。若身份只由像素相似度决定，对象在正常运动中就会不断换身份。相反，两名穿同款制服的人可能外观极像，却不能因此合成一个人。对象同一既不能等于外观相同，也不能完全脱离可观察证据。

跨镜头剪辑把连续性推到极端。第一个镜头中，侦探把钥匙放进口袋；第二个镜头切到街外；第三个镜头里，侦探用钥匙开门。中间没有呈现钥匙在口袋中的每一时刻，叙事却依赖它持续存在。视频生成若在剪辑后忘记钥匙，或让钥匙无故出现在另一人手里，破坏的不是镜头内部流畅度，而是跨镜头对象与行动关系。

同一性还不同于永久不变。河流不断换水，火焰不断更替燃料，人的发型和姿态持续改变，我们仍能在一定条件下追踪同一者。相反，一张图片可以被逐像素复制两份，两份外观完全相同，却是两个文件或两个对象。持续对象的要求不是把某个视觉模板冻结，而是让变化、位置和关系围绕一个可追踪历程组织起来。

还要区分数值身份与类型身份。说“这是同一只杯子”，主张的是数值上的一个；说“这是同款杯子”，只说它们属于同一类型。生成模型常能维持类型——人物始终像一名穿西装的侦探——却丢失数值身份：纽扣数量、伤疤位置、拿过哪把钥匙不断重置。叙事需要的往往不是角色类别持续，而是这个角色的具体历史持续。

对象边界也不是一次分割即可决定。演员手中的伞可作为独立道具，也可在追踪动作时与手臂构成一个运动单元；汽车与拖车可以暂时联合，脱钩后又分开。若模型把边界固定得过死，关系变化会表现成对象生成或消失；若边界过松，两个接触对象会被无故合并。综合问题既涉及“哪个还是哪个”，也涉及“哪些部分此刻构成一个整体”。

因此，“同一对象”包含多项负担：跨位置、姿态和光照维持身份。在遮挡期间保留存在与可能位置。在属性真正改变时更新而不换掉身份。在两个相似对象接近时不把轨迹交换。在镜头切换后恢复相关道具。任何单一相似度都难以同时满足这些要求。康德的三重综合能帮助我们把负担分层，而不是把所有失败压成“一致性不足”。

二　领会：杂多必须被依次取得

三重综合的第一项是“直观中领会的综合”。感性给出空间和时间中的杂多，但若要把一条线、一段持续或一个数量作为整体把握，我们必须逐一经过其部分，并把所经过的部分结合起来。康德在 A98—A100 以时间中的相继把握说明：若每一表象在下一表象出现时完全消失，便不能形成完整表象。⁴⁷

“领会”不是被动曝光。眼睛或摄像机可以在某一瞬间受到刺激，经验却需要把杂多作为有序材料取得。画一条线时，起点、延伸和终点依次出现；听一段旋律时，音符一个接一个到来。若完全没有综合，当前只能有一个点或一个音；线与旋律作为整体便不能出现。

视频中的取帧提供一个有限类比。采样器决定何时取得画面，空间编码器决定怎样把一帧分成局部，时间模块决定哪些局部进入同一处理范围。抽帧过稀，球可能在相邻观察之间跨越很远；曝光过长，运动轨迹变成模糊；镜头边界识别错误，两段无关画面会被当作连续。系统首先必须获得足以支持后续联系的杂多。

但取帧并非就是领会。录像文件可以按顺序存储全部帧，却没有任何系统把它们当作对象和事件处理。康德的领会是经验统一中的综合活动，工程采样只是提供材料。我们可以说采样和局部编码承担某些“取得杂多”的功能，不能说摄像机按下快门便完成了康德的综合。

领会还要求选择尺度。同一场景可被分成像素、特征块、轮廓、对象或关系；同一动作可按毫秒、帧、动作阶段或完整事件划分。尺度太细，系统面对大量局部变化，身份很难保持；尺度太粗，手指松开杯子的关键瞬间会被吞掉。工程上所谓 token 化、片段化和层级特征，都是对“什么算可连接的杂多”作选择。

选择不是无代价的预处理。若人物衣服上的徽章只占几个像素，压缩编码器可能将其抹去；后来剧情要求凭徽章辨认人物，系统便没有材料维持身份。若训练总把镜头切换当作序列终点，模型很难学习跨镜头道具持续。领会层面的遗漏，不能靠后续规则凭空补回。

这一步也揭示身份漂移的第一种来源：输入取得不稳定。人脸在不同帧被切成不同特征区域，快速运动导致局部缺失，遮挡前最后一帧没有保存关键属性。系统随后即使有强大的序列模块，也只能在不完整材料上猜测。因此，诊断持续性失败要先问：对象相关证据是否被一致编码，而不是直接归咎于“缺少记忆”。

康德的论证在这里比工程问题更强。他要说明，我们甚至对某一时段、某一空间形状的表象，都依赖杂多的逐次综合。技术系统则已经从人类设计的数据格式获得了许多完成结构：帧有边界、像素有网格、时间戳有顺序。工程类比必须承认这些预制条件，否则会把人类的表象问题缩成文件读取问题。

领会还必须处理重叠。相机平移时，前景人物、背景墙面与反光同时改变；系统若把所有变化当成一个整体，就难以分出对象运动与视点运动。反过来，若逐局部独立处理，同一刚体的各部分又可能散开。取得杂多不是平均注意每个像素，而是在多尺度上形成候选单位，让局部细节和整体运动都能进入后续联系。

这提供了一个实用检查：先在不涉及遮挡的短片中测试对象编码是否稳定。如果人物只是转头就造成特征完全重置，那么更长记忆并不能解决问题；如果快速运动时关键点在取样阶段已经消失，身份匹配只能凭背景猜测。把短时编码失败与长时状态失败分开，能避免用“上下文窗口不够长”解释一切。

三　再生：不可见的对象怎样继续在场

如果领会到的每一部分都随瞬间过去而绝对消失，综合仍无法前进。听到旋律第三个音时，前两个音必须以某种方式仍能参与；画线到终点时，起点不能完全无效。康德把这种使过去表象能够重新参与当前的能力，称为“想象中再生的综合”，主要见于 A100—A102。⁴⁸

“想象”在这里不是白日梦，也不是生成漂亮图片。康德的 Einbildungskraft 在不同论证中承担复杂功能；本章只谈 A 版三重综合中的再生：先前表象即使不再当前给予，仍可按照关联规则被唤回或保留其效力。没有这种再生，领会每走一步都会丢掉上一步，任何序列都无法成为整体。

球进入盒子的案例最能显示功能。起初球可见，随后盒盖关闭，球的像素消失；盒子又被移动到房间另一端。若系统只记住球最后可见的世界坐标，就会把它留在原地；若系统理解包含关系，就应随盒子更新球的可能位置。球不可见时并非没有状态，它的状态要通过“在盒内”“盒子正在移动”等关系传播。

《Learning Object Permanence from Video》把这一难题拆成可见、遮挡、被容器包含、随容器移动四类情形。研究尤其关注最后一种：目标不可见，容器又改变位置，系统必须估计隐藏对象随之移动。⁴⁹ 这类任务清楚表明，当前帧不能独自提供答案，历史对象与关系必须在潜在状态中继续更新。

对象永久性不是简单保存最后画面。一个球滚进静止挡板后，可根据速度预测其隐藏轨迹；一个物体放入移动箱子后，应跟随箱子；一个人走入电梯后，会随电梯到另一楼层。再生若只是冻结，得到的是过期状态。维持不可见对象需要把过去证据带入当前规则，让状态在无直接观察时仍发生合适变化。

不确定性也不能被省略。两只相同的球先后进入同一遮挡区，再从另一侧出现，系统可能无法确定哪只先出来。合理状态应保留多个身份匹配及其置信度，而不是为画面流畅强行选择。再生不是保证过去以唯一方式复现；它使过去继续约束现在，也允许证据不足时悬置认定。

技术语境常把这类功能称作“记忆”，但需要说明它只是历史信息对当前计算的持续影响。循环状态、显式轨迹、对象槽位、外部存储都可实现某种记忆功能。它们不因此具有人的回忆体验。把再生直接等同缓存同样不对：缓存只保存数据，再生在康德论证中处于依规则综合、使经验统一成为可能的结构中。

对象永久性可用“违反预期”方式测试。IntPhys 2 的四项核心原则包括永久性、不变性、时空连续性和坚实性；永久性测试使物体无因出现或消失，让模型区分可能与不可能视频。⁵⁰ 这比只问生成画面是否漂亮更接近结构诊断，因为一个物体在遮挡后消失可以被渲染得非常自然，却仍违反持续要求。

观察生成与状态维持在这里再次分开。生成器面对球进入盒子的提示，可以在结束时任选一个合理位置让球出现；若提示没有规定盒子后来怎样移动，创作合同允许补定。行动者若要打开正确箱子，却必须保存球在哪个容器中的不确定分布，并随每次搬运更新。前者交付一条可观看未来，后者保留多个可能状态供选择。对象永久性在两类系统中都重要，但错误成本不同。

再生还必须有遗忘规则。所有曾出现对象若永远占据状态，长序列会无限膨胀；已经离开场景、被销毁或与任务无关的信息需要降权或移除。难点是区分“暂时不可见”与“已经不再相关”。门后的人可能回来，燃尽的纸不会恢复，驶远车辆在导航任务中也许仍影响路线。记忆容量问题最终变成关于存在、可达性和任务范围的判断问题。

然而，合成基准的通过范围有限。场景中的对象数量、材质、容器类型和运动规则都受控制；系统可能学会特定遮挡模式，而未形成开放世界的对象永久性。现实视频还有反射、透明物体、镜头切换、对象变形和多人交互。基准证明模型在某种任务上区分了持续与违反，不能证明它在任何场景都维持对象。

再生层面的失败因而包括：对象一被遮挡就从状态消失。隐藏期间位置不更新。重新出现时被当作新对象。两个候选轨迹被过早合并。旧属性在真实改变后仍僵硬保留。前四种是遗忘或错误关联，第五种却是过度持续。世界模型既要抵抗无因消失，也要允许对象在有证据时改变。

四　认定：为什么还是“这个”东西

领会取得杂多，再生使过去继续有效，但还没有回答：为何这些表象属于同一对象？康德的第三项是“概念中认定的综合”，主要见于 A103—A110。若我们在数数时不知道刚才所加的单位与现在所加的单位共同属于同一个计数过程，就不能得到数。若在画线时不能认定当前延伸与先前部分属于同一条线，就只有散点。

“认定”不是公安识别，也不只是在数据库中查身份号码。它指在一种规则下把杂多意识为同一认识的组成部分。概念使综合具有可重复的统一方式：某些变化被理解为对象属性的变化，某些差异则要求区分对象。Béatrice Longuenesse 强调，康德的综合、概念与判断能力彼此关联；对象统一不是概念完成后才贴上的标签。⁵¹

回到演员转身。正脸、侧脸和背影没有相同像素，认定却把它们组织为同一人物的不同显现。衣服在阴影中变暗，是光照下的属性变化，不是换人；演员脱下外套，属性真的改变，身份仍可持续；另一名穿同款外套的人出现，外观相似却应另立身份。认定所需的是跨时间的约束组合，而非一条固定特征。

这种组合通常包括轨迹连续、局部外观、身体结构、与其他对象的关系以及行动历史。人物从左门进入又从右门出现，场景布局可能支持同一性。两人交叉时，单靠最近位置会交换身份。一只杯子被涂色后，颜色不能继续充当唯一标识。杯子摔碎后，“同一只杯子”又涉及整体与碎片关系。开放世界身份没有永远可靠的单一键。

生成模型中的身份漂移可以据此分三类。第一类是属性漂移：同一对象仍占据连续轨迹，颜色、纹样或形状却无原因改变。第二类是身份交换：两个对象接近或遮挡后，各自属性、动作历史被对调。第三类是对象重置：镜头切换或重新出现后，系统生成一个相似新对象，却没有保存原对象携带的关系。三类都可能保持局部画质，必须用跨时测试才能发现。

“主体一致性”指标能捕捉部分表面稳定，例如人物或主要对象的外观是否跨帧保持。VBench 等视频基准把主体一致性与背景一致性、运动平滑等维度分开，避免所有质量合成单一分数。⁵² 但嵌入相似度高不一定等于同一性正确：两名双胞胎可能被误合并，一人换衣可能被误拆分，错误复制的同一张脸反而得到高分。

认定还涉及错误可纠正性。系统先把远处身影当作甲，靠近后看到证据表明是乙，需要修订先前轨迹；若状态结构不允许回溯，错误会沿序列传播。多目标跟踪中的重新关联、概率图中的候选身份、视频模型中的长程注意力，都可承担某些纠错功能。它们是工程机制，不是康德判断能力的实例，却让“认定不能只是一次分类”变得具体。

康德在 A 版这段论证最终把认定与意识统一问题连接起来。表象若不能在同一意识中被共同把握，便不能成为我的认识。本书把统觉统一留到第 9 章讨论，当前只保留一项提示：对象身份不是局部特征独自决定，它依赖整个表象序列能否属于一个一致的综合过程。这里也说明为什么不能把全局 token 直接叫作统觉。

认定并不要求给对象一个语言名称。婴儿或动物可以在不会说“球”的情况下追踪某个移动物，视觉系统也可以用无监督表示维持轨迹。康德所谓概念具有比标签更强的规则作用；工程上，对象身份也可以由结构约束而非文本类别承担。因此，“没有名称”并非就是“没有同一性”，“能正确命名”也不能直接推出“能在遮挡后持续追踪”。

同样，认定不保证判断正确。我们会把远处陌生人误认作朋友，也会被舞台换装骗过。重要的是存在可检验的统一规则和纠错路径。系统应能根据新证据降低旧匹配置信度，必要时拆分轨迹，并保留修订对后续事件的影响。若错误身份只在当前帧被修正，而先前动作仍挂在错误对象上，事件历史依旧不一致。

案例框 3　遮挡后出现的是不是“同一个”

情境：一个贴有细小裂纹的蓝色杯子从屏幕左侧移动到纸箱后，数秒后从右侧出现。模型保持了颜色和大致形状，却把裂纹位置换到另一侧。

检验：分别追踪类别、整体身份、局部特征和运动连续性；再把纸箱遮挡时间延长，或让第二只相似杯子同时进入遮挡区。

可能结果：类别始终正确，单杯条件下身份似乎稳定；双杯条件下两个杯子的局部特征互换，说明模型维持的是“有一只蓝杯”而非两个可区分对象。

判断：对象同一性有不同粒度。对叙事视频，类别级持存也许足够；对取回指定物品，局部标记和多对象绑定不可省略。所谓“同一个对象”必须随任务给出判据。

这个遮挡例子把类别持存、个体身份和局部特征分开。对象槽位正是对这种绑定负担的一种工程回答。

五　对象槽位：一种工程尝试

大多数视觉网络把场景编码为稠密特征图，一个局部向量可以同时受纹理、背景和多个对象影响。对象中心学习尝试把场景分成若干可单独处理的单位。Slot Attention 是代表方法之一：编码器先产生一组视觉特征，若干“槽位”通过多轮竞争性注意力从这些特征中聚合信息，输出一组可交换的任务相关表示。⁵³

“可交换”意味着槽位本身没有固定身份：第一个槽位不天然属于红球，第二个也不天然属于蓝方块。它们以竞争方式解释输入，不同运行中槽位次序可以改变。若训练任务要求重建场景，槽位可能分别绑定对象；若任务不同，也可能形成不同分组。论文明确称这些表示为 task-dependent，不能把槽位看成现实对象自动盖章后的容器。

槽位提供三项有用能力。其一，分解：多个对象不必全部揉进一个全局向量。其二，组合：在训练未见过的对象组合中，单独表示可能被复用。其三，关系接口：动力学模型可以预测每个槽位怎样变化以及槽位之间怎样互动。对于碰撞、遮挡和抓取，按对象组织往往比逐像素预测更容易表达。

但静态图像中的对象分解并非就是跨帧身份。第一帧槽位三表示杯子，第二帧槽位三可能转而表示盘子；只要每帧重建正确，训练目标未必惩罚槽位交换。要维持身份，还需时间绑定、运动线索、持久槽位或匹配机制。slot 是当前计算中的位置，不是对象身份证。

数量也是限制。预设八个槽位，场景若出现十二个对象，系统必须合并、忽略或争抢；场景只有两个对象，多余槽位又可能吸收背景碎片。对象彼此接触、透明、反射或构成整体时，“一个对象一个槽位”更难成立。手握杯子可按两物表示，也可按一个行动单元表示；汽车可作为整体，也可分成轮胎、车门与乘客。对象粒度依任务变化。

对象中心动力学还面临关系爆炸。若每对槽位都建模互动，对象增多时计算迅速增加；若只连接邻近对象，远程约束可能丢失。更重要的是，很多现象并不天然对象化：水流、烟雾、阴影、温度场和布料形变需要连续场或混合表示。本章的主张不是“世界由槽位构成”，而是任何模型若要谈持续对象，都必须承担身份与遮挡负担。

对象表示也不自动带来因果。模型可把球和墙分成两个槽位，却仍预测球穿墙；可维持杯子身份，却不知道松手会下落；可追踪钥匙在盒中，却不能规划怎样取出。分解回答“哪些特征属于一起”，动力学回答“它们怎样变化”，行动模型回答“干预会造成什么”。这些能力应分别检验。

一种常见补充办法是让槽位跨时间递归更新：当前槽位根据先前槽位和新画面校正，而不是每帧重新抽取一组无关槽位。另一种办法是在相邻帧之间求匹配，再把轨迹送入动力学模型。前者易于积累长期状态，也可能把早期错误锁死；后者便于显式诊断，在严重遮挡和对象数量变化时却会出现组合困难。机制选择仍取决于任务与数据。

即使槽位序号稳定，语义也可能漂移。某个槽位持续吸收画面中央区域，看似跨帧稳定，其实从进入中央的杯子转到后来进入中央的手；另一个槽位可能只代表“最显眼物体”，而不是具体对象。检查槽位持续性不能只看向量平滑，还要用交换位置、改变显著性和长时遮挡等干预，观察它是否忠于对象历史。

因此，三重综合与槽位不能排成一一对应表。领会、再生、认定是康德对经验统一条件的分析；编码、持久状态和对象绑定是系统实现的工程环节。一个槽位机制可能同时参与取得特征、维持历史和分配身份，也可能只做静态分割。类比的用途是检查功能缺口，不是给模块加哲学名字。

六　同一性的开放负担

最强反对意见是：对象未必是世界模型的基本单位。物理学可以用场描述，流体模拟依赖连续量，端到端控制器也可能在没有显式对象槽位的情况下成功。这个反对意见成立。世界模型不必把内部状态写成对象清单，更不能从人类日常对象概念推出唯一架构。

但内部没有显式对象变量，并非就是没有同一性负担。稠密特征若要预测一辆车被卡车遮挡后重新出现，仍须以某种分布式方式保存其轨迹与属性。场表示若要说明涡旋持续，也要给出跨时间结构。控制器若要把抓取动作施加到目标杯子，必须避免在两只相似杯子之间换目标。问题可以由不同表示解决，却不能靠拒绝“对象”一词消失。

开放世界使负担不断改变。对象会生成、合并、分裂和毁坏：面团被切开，水倒入杯中，纸张燃烧成灰，零件组装成机器。严格固定身份会把真实变化当错误，过度灵活又会用“已经变成别的东西”掩饰漂移。模型需要在持续与变更之间设定规则，并让规则随任务而细化。

共同身份还跨越感官。门后传来同一人的声音，脚步声可支持其继续移动；机器人暂时看不见手中物体，触觉压力仍可支持抓持状态。只依赖视觉外观的对象表示会错过这些证据。多模态系统必须决定声音、触觉和图像何时属于同一来源，这比把三个向量拼接更接近对象绑定难题。

行动又改变身份判断。机器人把红杯放进箱子，动作记录为隐藏位置提供强约束；若另一个行动者偷偷交换杯子，原预测便需修订。纯观察序列只能从相关运动推断，动作条件则给出系统自身干预的记录。对象永久性因此不是静态信念，而是在观察、动作和关系更新之间维持的工作假设。

多主体场景还会带来记录冲突。摄像机甲看见钥匙放入抽屉，摄像机乙只看见后来有人靠近；两路观察对同一对象提供不同覆盖。系统若要形成共同状态，必须对齐坐标、时间和身份，并保留哪个观察支持哪项判断。简单平均会把矛盾抹平，分开处理又无法回答“钥匙现在在哪里”。这一问题将在第 19 章的共同世界讨论中扩展。

长期叙事要求身份携带后果。人物在第一幕受伤，第三幕行动受限；钥匙在开门时弯曲，后来不应恢复完好；杯中加过药剂，即使液体外观未变，后续饮用仍应受到影响。对象持续不只是脸和颜色持续，还要让其历史改变可用状态。只保存外观指纹，会得到稳定角色形象，却得不到有历史的对象。

评测应针对具体断裂设计。让对象转身，测试外观变化下的身份。让两个相似对象交叉，测试轨迹交换。让球进入移动容器，测试隐藏状态更新。让道具跨镜头返回，测试长程恢复。让对象真实变色或破碎，测试能否更新而不无因重置。每种测试对应不同失败机制，不能由一个“主体一致性”分数替代。

还应区分可观看观察与行动状态。创作视频可以在遮挡后选择一种视觉上自然的重新出现，只要叙事不要求精确；机器人却可能必须知道箱中究竟是哪件药品。生成任务容许未指定细节在后续被补定，行动任务则要保留会影响决策的不确定性。两者都处理同一性，证据合同却不同。

三重综合为这些诊断提供了一个有次序的提问法。首先，相关杂多是否被稳定取得？其次，不在当前观察中的过去是否仍约束状态？最后，变化是否依规则归属于同一对象？若第一步丢掉特征，后两步无从补救；若第二步遗忘遮挡物，重新出现只能重建；若第三步没有认定规则，保存再多历史也可能绑定错误。

这个次序不是算法处方。康德讨论的是经验可能性，技术模型面对的是数据与任务。更谨慎的结论是：跨帧同一性至少需要取得、持续和认定三类功能，而不同架构可用不同方式实现。对象槽位、循环状态、长程注意力与关系图都只是候选机制，其能力要由遮挡、视角变化、身份交换和真实变形共同检验。

本章由此把“同一对象”从外观相似提升为结构要求。一个模型若在当前帧看不见球，仍需让球的历史与关系影响预测。若人物转身，仍需把新外观放回同一行动历程。若证据显示对象已经改变，又必须允许状态更新。持续不是不变，认定也不是复制。

下一章将继续追问：对象被认定以后，一般概念怎样进入时间中的具体过程？“因果”“实体”这样的概念既不是一张标准图片，也不能直接贴到像素上。康德的图式论将把问题从对象同一推进到规则如何在时间中展开。

注释

---

第六章　图式：概念如何展开为事件

让一张图片表现“跑”并不难。人物身体前倾，一条腿抬起，手臂弯曲，背景稍有动感模糊，观看者便会读出奔跑。可是这张姿势图不能独自说明人物正在跑，还是摆出跑步姿势；不能说明下一刻哪只脚落地，也不能说明遇到台阶时动作怎样调整。若要生成一段奔跑视频，系统必须让姿态、重心、位移、地面接触和呼吸节奏在时间中相互配合。

“融化”更不能由一张标准图片穷尽。冰块先保持轮廓，边缘变圆，液体增加，固体减少；速度受温度、材质和大小影响。“追赶”至少涉及两个行动者，一个在前、一个在后，距离可能缩短，也可能扩大。“犹豫”甚至未必有固定姿势，它可以表现为停顿、回头、伸手又收回，意义依赖此前目标与随后行动。

文本—视频模型接到一个动词或事件描述时，面对的正是从一般条件到具体时间过程的距离。提示词不是一卷藏在文字里的视频。模型必须在多种可能对象、身体和环境中，生成一条符合条件的过程。若它只复制最常见姿势，便会得到“会动的插图”，而不是有阶段和结果的事件。

康德的图式论讨论的不是视频生成，却提出一个结构相近而层级更深的问题：纯粹知性概念怎样能够应用于感性直观？范畴是一般而纯粹的，感性对象则在空间与时间中被给予；两者异质，不能像两张相似图片那样直接重叠。康德以“先验图式”说明中介：图式是想象力依规则给予概念以时间规定的方式。⁵⁴

本章借图式论追问过程规则，但不把工程机制偷换成康德概念。提示词并非就是概念，生成轨迹不等于图式，程序也不能直接推出先验图式。可比较的是一项负担：一般条件若要适用于具体变化，必须有一种可重复却不固定为单张图像的展开方式。

图6-1　概念怎样展开为事件。概念或动作词只有经时间化程序展开为中间状态和事件序列，才可能成为可迁移的预测规则。

一　概念为什么不能直接变成画面

上一章讨论认定：不同外观何以被认作同一对象。认定已经涉及概念规则，但“概念怎样应用”仍未充分展开。我们能说某物是一只狗，是因为许多大小、颜色和姿态不同的个体都可落在“狗”这个概念下；任何单独狗的图像却都比概念更具体。画一只白色长毛犬，不能代表黑色短毛犬的全部可能性。

概念一般，直观个别。概念“桌子”不指定这张桌子的木纹、腿数、颜色和观察角度；当前直观却总以某种具体方式给出。若用一张平均桌子图当作概念，遇到折叠桌、手术台或矮几便会受阻。若把所有可能桌子图片列完，又不可能穷尽新实例。概念应用需要一种规则，说明哪些具体差异仍允许认作同类。

纯粹知性概念的问题更尖锐。因果性、实体性、可能性不是可以与感觉轮廓比对的外观。没有一张“因果的图片”能直接贴到球碰球、火加热水、按钮开灯这些不同场景上。我们看见颜色、位置与相继，却不能从某一局部形状读取“必然依规则相继”。范畴若要规定显现，必须有与感性相通的中介。

康德认为时间提供这项共同维度。一方面，时间是所有表象作为我们表象的形式；另一方面，范畴可以通过一般的时间规定获得感性意义。例如，因果的图式涉及某物按照规则继起，实体的图式涉及实在者在时间中的持存。图式不是把抽象词画出来，而是规定概念怎样在时间关系中被展示。

这里要谨慎处理“展示”。它不是给概念配一张教学插图，而是让一般规则能够在感性条件下运作。康德在 A137/B176 至 A147/B187 的“纯粹知性概念的图式法”章中，把图式称为想象力综合的一般程序，并区分图式与图像。⁵⁵ 时间规定使范畴可应用，也同时限制其合法应用范围：离开可能经验，范畴不能凭自身产生对象知识。

文本条件生成有一个较弱的相似问题。“一个人打开盒子”不指定人物长相、盒子材质、开盖方向和镜头角度，却规定某些角色与阶段：盒子起初关闭，行动者接触盖子，盖子相对盒体移动，结果是内部可见或可达。系统若只在画面中同时放置人和开着的盒子，名词可能正确，事件却没有被实现。

但文本提示也不是康德意义上的概念。它是一串符号，经文本编码器变为条件表示；其意义来自训练语料、标注约定和用户语境。提示可含专名、风格、镜头指令与语法错误，不具有统一的哲学地位。把 prompt 直接叫“概念”，会把语言输入、一般概念和范畴三种东西混在一起。

因此，工程问题应表述为：条件表示怎样约束一个时间过程。它可能靠训练数据中的视频—文本关联、显式动作标签、首尾帧、关键点或控制信号实现。图式论提供的不是模块答案，而是判断标准：一般条件是否仅触发一个典型画面，还是能在多种具体情境中组织合适过程。

二　图式不是模板图片

康德以“三角形”和“狗”等例子区分图像与图式。任何三角形图像都有确定角度、边长和朝向，却不能与三角形概念的全部可能实例完全相称。狗的图式也不是一只轮廓模糊的平均犬，而是一种一般程序，使想象力能描画四足动物而不被限制在某个单独形象。⁵⁶

“程序”一词在这里容易让现代读者想到代码。康德并不是说心灵运行一段可打印的伪代码，而是强调规则性：图式让概念能反复用于不同直观，图像只是一次具体产物。程序与产物的区别是本章最有生产力的线索，同时也是最危险的类比入口。

图式也不是藏在心中的一幅半透明图。若它仍是一张图像，就会和任何图像一样具有确定细节，不能说明概念的一般适用。康德称图式是想象力的产物，却又说它只能在思想中存在；要点不在不可见，而在它以规则规定可能图像。我们无法通过“把图式拍出来”检验它，因为可拍出的总是某次具体展示。

经验概念与纯粹概念在这里不能混为一谈。狗的图式说明一般经验概念如何不受单一外形限制；范畴的先验图式则要说明纯粹概念如何获得时间规定。前者可以借经验对象反复校正，后者在康德体系中承担可能经验的条件。用动作数据训练出的事件表示即使很一般，也更接近可修正的经验规则，而非先验图式。

“规则”也不能直接推出一串显式命令。人可以识别和描画多种三角形，却未必能口头列出全部步骤；神经网络可以形成对姿态序列的稳定映射，却没有人可直接读出一条符号算法。规则性要从系统对实例的有序处理与可迁移性判断，不能以“参数不可解释”为理由一概否认，也不能以重复成功为理由直接肯定。

以“圆”为例。一张圆形图片具有分辨率、线宽和颜色；描画圆的一般规则可以在不同大小、媒介和位置产生无数图像。若系统只记住一张模板，缩放、遮挡或透视变化会造成匹配失败；若掌握某种生成关系，它便可在新条件下得到不同实例。工程上的几何程序与康德图式仍不等同，但两者都显示一般性不能由一幅静态样本承担。

动词更突出这种差别。“坐下”的模板图片可能表现一个人已经坐在椅子上，事件规则却要连接站立、转身、屈膝、接触座面和稳定姿态。不同身体、椅子高度和方向会改变轨迹，但阶段关系仍可识别。图像回答“某时刻看起来怎样”，过程规则回答“怎样成为如此”。

同一事件还可有多种时间伸缩。慢慢融化与迅速融化共享某种方向结构，却有不同速率；追赶可以在三秒内完成，也可持续数分钟；犹豫的停顿过短便像连续动作，过长又可能变成放弃。事件表示若把阶段与固定帧数绑定，就无法跨帧率和片段长度迁移。它需要把相对阶段、持续和触发条件区分开。

图式也不是经验图像的平均值。平均许多奔跑帧可能得到一个模糊人体，其中左右腿互相叠加；它不会告诉系统如何交替落脚。平均许多融化视频也不会自动给出质量如何从固态转移到液态。规则关心变化的组织，统计平均只压缩表面值。现代模型当然不只做算术平均，但这个反例说明，分布拟合只有在保留关系时才产生过程能力。

对于纯粹范畴，康德列出更严格的时间图式。数量的图式是依次加一所产生的数。实在性的图式涉及感觉在时间中的程度。实体的图式是实在者的持存。原因的图式是某物之后另一物依规则发生。共同性的图式涉及实在者按一般规则同时规定。可能、现实与必然也通过不同时间关系获得图式。⁵⁷

这些规定提醒我们，不能把图式论只说成“概念生成动画”。康德要解决的是范畴如何具有客观适用，而不只是动作词怎样可视化。工程类比主要抓住规则与时间展开的形式问题；它没有复制范畴表，也没有说明模型判断何以具有康德意义上的客观有效性。

三　动词包含怎样的时间结构

若把事件看作一段视频标签，“跑”“融化”“追赶”似乎只是类别。若把它们看作过程，就必须分析角色、阶段、前提与结果。不同动词把这些成分组织得不同，因此不能用同一条“增加运动量”规则处理。

“融化”通常要求一个可熔物，在过程中形状稳定性下降，液态部分增加，并且变化具有方向。视频若先出现水洼，随后水聚成冰块，却仍标注融化，便把方向倒置。若冰块在一帧中瞬间换成水，起点和结果可能正确，中间过程却缺少连续转化。若物体一边融化一边体积无故增大，又引入守恒问题。

“追赶”要求至少两个角色和不对称目标。追者朝被追者移动，被追者也可能移动，关键量不是某个角色绝对速度，而是二者距离及可达路线。镜头跟随可能让追者在画面中几乎不动，却仍在场景中高速前进。只学像素位移会把相机运动与事件关系混淆。

“犹豫”更依赖事件上下文。人物手伸向门把又停下，若此前没有打开门的目标，停顿可能只是休息；看向两条路再回头，若没有可选方向，也不构成选择迟疑。犹豫的时间结构包含准备、延宕和可能的改向，但其意义需要意图或叙事条件。纯视觉模型可能生成典型动作，未必能区分心理解释。

同一动作在不同身体上也会改变。人用手开门，机械臂用夹爪转动把手，轮椅使用者可能从不同高度接近；鸟的奔跑与人的奔跑具有不同关节结构。若模型把动作规则绑定某个常见身体，新主体上就会失败。可迁移过程表示需要把目标关系与具体运动学部分分开，再由身体和环境共同约束轨迹。

环境同样参与事件。人在冰面跑步，接触与加速度不同；在低重力环境跳跃，腾空时间改变；门向内开还是向外开，决定拉或推动作。文本中同一个动词不是完整动力学。系统必须把一般事件条件与当前对象属性、空间布局和物理约束结合。

这提供一组诊断测试。保持动词不变，替换主体、工具和环境，看阶段关系能否适应。保持场景不变，替换动词，看轨迹是否按语义改变。保持首尾状态相同，改变过程描述，看中间路径能否区分。改变速度词和持续时间，看事件是否伸缩而不丢阶段。通过一条常见提示不能证明掌握过程规则。

事件还允许失败。“试图打开”可能因门锁住而不成功，“追赶”可能始终追不上，“堆叠”可能倒塌。训练视频和文本往往偏向典型成功结局，模型便会把动作词当作结果保证。真正面向行动的过程模型必须表示尝试、阻力和失败分支，而不只是把语言条件装饰成顺畅表演。

事件角色还可能交换而外观不变。甲追乙与乙追甲使用同两个人、同一条道路，差别在目标方向与相对运动；球撞墙与墙撞球在特定镜头里可能有相似接触画面，动力学责任却不同。模型若只识别“两个物体快速接近”，就会漏掉角色结构。测试应交换主体与客体，同时保持背景和外观，观察过程是否随语法与动作条件改变。

否定和中止也能揭示规则。“不要打开盒子”不能只生成较慢开盒；“跑到门前但不要进去”要求过程在边界处停止；“假装扔球”要求动作形态与真实结果分离。常见视频数据对否定条件覆盖较少，系统容易被动词本身触发。能否抑制典型结局，是条件真正进入时间展开的强证据。

事件之间还有嵌套时间。“做饭时接电话”包含一个持续背景过程和一个插入过程。“杯子落下之前伸手接住”要求两条轨迹在截止点前协调。“等水烧开再关火”要求后一个动作以先前状态为触发条件。单一动作模板难以处理这些结构，系统需要表示并行、先后、直到与中断等关系。

这类关系不要求所有过程被切成硬阶段。奔跑可以连续变化，融化也没有唯一帧标志“阶段二开始”。事件结构可以包含连续状态量、阈值和概率转移。诊断的重点不是迫使模型使用人写的脚本，而是看它能否维持方向、角色、触发与结果约束。

四　条件生成怎样补出中间过程

视频生成最常见的条件是文本。文本编码提供人物、动作、场景和风格等线索，生成模型从数据分布中补足未指定细节。提示“孩子把纸飞机扔过房间”没有给出每帧姿态，系统要选择出手角度、飞行路径、镜头构图和落点。选择可以合理，也可以只是训练数据中常见组合。

端点条件把过程负担变得可见。PixelDance 同时使用文本、首帧图像和末帧图像，要求模型生成连接两端的中间视频。⁵⁸ 若首帧是人站在门外，末帧是人站在屋内，系统不能只生成任意进门视频；它要保持人物和场景，并在有限时长内构造从外到内的过渡。

端点并不唯一决定路径。门可能直接打开，人可能先敲门，也可能从侧门进入；镜头可以固定、跟随或切换。首尾图像约束边界，文本缩小事件类型，数据分布与采样仍决定具体中间过程。因此，端点生成能检验过程连接，却不能被称为从结果反推出唯一原因。

错误也可按结构区分。第一种是端点违约：中间过程虽流畅，却到不了指定末帧。第二种是跳变：开头和结尾都满足，中间用无解释变形硬接。第三种是身份重置：末帧对象外观相近，但并非同一历程。第四种是事件偷换：人物通过瞬移到室内，而不是依提示开门。这些错误都可能获得不错的单帧质量。

VideoPoet 采用解码器式 Transformer，把文本、图像、视频和音频等模态离散化为 token，并以多种自回归生成目标进行训练，可适配文本到视频、图像到视频、视频延续和音频生成等任务。⁵⁹ 统一 token 接口让不同条件进入同一序列模型，却不保证它们共享一个明确事件本体。

统一接口的价值在组合：一张起始图、一个动作文字和一段音频可以共同约束输出。其风险是条件之间可能只以表面相关性协调。脚步声与腿部运动大致同步，不证明模型表示了接触事件；文本说“玻璃碎裂”并出现碎片，不证明冲击强度与材质规则被区分。模态一致是事件结构的一项证据，不是全部。

文本条件和动作条件必须分开。文本“向左走”从观看者或叙述者角度描述高层事件，含义可能受镜头方向影响；机器人动作则是关节速度、末端位移或离散控制命令，直接进入特定身体的转移。前者允许多种实现，后者要求给定状态下对命令作相应响应。用语言生成正确方向，不能替代动作干预测试。

条件还可按约束强度排列。文本给出语义范围，首帧给出起始观察，首尾帧增加边界，关键点或深度轨迹规定局部运动，动作序列则指定行动者的控制输入。条件越强，合法轨迹通常越少，但并不自动越真实：错误关键点会迫使身体变形，冲突端点会诱发跳变，动作标签若与视频未对齐也会制造伪规律。

多条件系统需要处理冲突。文本要求人物向左，轨迹控制却向右；首帧是关闭的门，末帧又要求门完好关闭，同时提示“穿门而过”。模型若默默忽略一项条件，输出仍可能漂亮。评测应分别改变每个条件，检查其影响方向与优先级，并报告不可同时满足时系统怎样失败。

同一端点的多路径还要求多样性有结构。人物从桌边到门口，可以绕左边或右边，却不应穿过桌面；杯子从满到空，可以被喝掉或倒掉，却不应无因蒸发。简单增加随机性会产生更多结果，也会产生更多违规。有效多样性应覆盖不同合法过程，同时维持身份、连续和约束。

条件生成还受训练分布限制。若“融化”几乎总与冰块关联，系统可能不会让蜡或金属按相应条件变化；若“追赶”总发生在街道，换到水下便失灵；若“犹豫”总以回头表现，其他形式会被忽略。判断模型是否掌握可迁移过程，应使用新对象、新环境和反常但合法组合，而不只复现典型短片。

五　潜在动力学的程序性展开

世界模型把问题从“生成什么视频”转为“给定状态与动作，后果怎样变化”。PlaNet 的循环状态空间模型在潜在状态中学习动力学，规划器提出动作序列并向前展开，选择预期回报较好的方案。⁶⁰ 内部轨迹不必解码为清晰画面，却以程序性方式把当前状态与动作转成后续状态。

这比静态分类更接近“规则展开”。分类器看到一段视频后说“开门”，是在过程结束后归类；动力学模型在门关闭、手接近把手时，预测不同动作会怎样改变门角度、接触与可通行性。它不仅识别事件类型，还必须生成或估计事件的下一阶段。

动作条件使差别更严格。没有动作输入的视频预测器可以续写最常见未来：机械臂靠近杯子以后通常抓起。加入动作以后，同一状态下的“夹紧”“松开”“向左移动”应产生不同后果。若输出不随动作改变，模型只是利用场景相关性；若任何动作都生成成功抓取，它没有表示失败分支。

AVID 的目标正是把预训练图像到视频扩散模型适配为动作条件世界模型。它在较小的领域动作标注数据上训练适配器，通过修改预训练模型中间输出，使生成受动作约束，并在视频游戏与现实机器人数据上评估。⁶¹ 这条路线本身说明，视频模型与世界模型并非同义：动作条件和任务域适配是额外步骤。

潜在动力学可以被视为某种“程序性展开”的工程机制，因为同一转移函数在多个状态上重复应用。但重复函数并非就是掌握一般规则。模型可能只在训练轨迹附近插值，遇到新身体或新材质就失败；也可能用背景线索预测结果，而没有分离动作作用。要检验规则性，必须改变表面条件并保留关系，或改变动作并观察方向正确的后果。

多步展开还要求阶段稳定。一步预测很准，连续调用后状态可能漂移；中间状态一旦偏离训练分布，后续误差迅速放大。过程规则若只在最初一步有效，就不能支持规划。评价应同时看短时动作响应、长时轨迹、结果排序和真实执行，而不是以一段顺畅内部视频代替。

规划对规则性提出反向压力。生成模型可以从分布中选一条典型轨迹，规划器却会主动搜索不典型动作组合。如果潜在动力学只在常见序列上成立，搜索会找到它的漏洞：预测穿过障碍可获得高奖励，或认为无限重复小动作不会付出时间。越强的优化器越像压力测试，它会把表面稳定与真正可用的转移分开。

模型也必须区分控制频率。同一“向前”动作持续一百毫秒和一秒，后果不应相同；相同末端位移用快慢不同速度执行，碰撞风险也会改变。若动作 token 没有持续和尺度，潜在动力学学到的只是离散标签关联。事件规则需要把动作量、时间间隔和身体状态共同纳入。

有时内部规则无需形成可命名事件。机器人规划器可能准确预测一连串潜在特征变化，却从不输出“抓取”类别；视频模型也可能生成合理开门过程，却没有独立事件节点。能力评价不应强迫所有系统采用语言本体。关键是关系能否在干预与迁移中保持，而不是内部是否出现人类动词。

反过来，正确事件标签也可能掩盖错误动力学。一段视频被识别为“倒水”，但水流穿过杯壁；规划器预测任务最终成功，却把夹爪轨迹放在物体内部。高层分类与低层可执行性应分开检查。规则的不同尺度可以各自成功或失败，不能用一个标签概括。

规则还需与不确定性共存。打开纸箱可能成功，也可能因胶带卡住；同一推力作用于未知重量物体会有不同位移。动力学模型可以输出分布或多个候选轨迹，规划器再按风险选择。单一路径看起来更像完整事件，却可能把未知条件伪装成确定事实。

康德图式与潜在动力学在此只有有限相合：两者都让静态一般性进入时间过程，都不能由一张模板图片替代。差异则在地位。潜在动力学从数据学习、由损失函数优化、对特定状态和动作空间有效；先验图式属于康德解释范畴应用于可能经验的条件。前者可失败、替换和再训练，后者不是经验模型的一个候选算法。

六　从相似过程到可迁移规则

最强反对意见是，文本—视频映射也许只需要相关性，不需要任何类似图式的结构。大模型看过足够多“跑步”视频，就能生成新的跑步片段；何必再假定内部有事件模板或规则？这个反对意见首先提醒我们，不应把可观看结果反推成不可见机制。

回应不是宣称模型必定拥有图式，而是把图式当作诊断问题。若系统只记住相关性，它在常见人物、常见地面和常见镜头下也会成功。要区分可迁移规则与表面复现，需设计结构保持而外观变化的测试：换身体、换环境、换帧率、换观察角度，同时保持事件关系。再做反向测试，保持外观而改变动作和结果。

过程组合也是关键。模型会生成“拿杯子”和“走到桌边”，不代表能生成“拿着满杯走到桌边而不洒”；会生成“推箱子”和“箱中有球”，不代表能让隐藏球随箱子移动。组合要求一个过程的结果成为另一个过程的条件，并让共享对象持续。若每个动词只是独立视频风格，组合便会暴露断裂。

反事实测试更强。同一首帧下，把动作从推改为拉，物体方向应改变；同一首尾帧下，把“绕过障碍”改为“移开障碍”，中间路径应不同；同一“融化”条件下，降低温度应减慢或阻止过程。模型若对条件变化不敏感，说明文字没有进入转移；若变化方向随机，则缺少稳定关系。

失败结果也必须纳入。规则不是典型成功片段的别名。门锁住时，“开门”动作可能只产生把手转动；地面湿滑时，“跑”可能导致摔倒；追者速度不足时，距离应扩大。能生成失败分支，才说明条件与环境共同约束过程，而不是动词直接触发标准结局。

可迁移规则至少应经受四类变化：表面变化，替换颜色、纹理和背景。载体变化，替换身体、工具和对象。尺度变化，改变速度、时长和空间范围。组合变化，把已学过程放进新的先后、并行或条件关系。四类测试逐级变难，也分别暴露外观记忆、运动学绑定、时间过拟合和组合失败。

评测还应包含不可能条件。要求人物不经过任何通道从封闭房间离开，或要求冰在持续加热下保持不变，系统可能选择拒绝、显示失败尝试，或违反约束。对于创作工具，不可能提示可以被风格化处理；对于规划模型，则必须识别不可执行性。证据合同决定哪种响应算正确。

最后，要检查规则是否真正被条件控制。将文本遮掉、动作打乱、端点替换，再观察输出变化；若分数几乎不变，条件可能只是弱装饰。将无关风格词替换而保持事件词，过程结构应相对稳定；将事件词替换而保持画面起点，结构应显著改变。这类消融比展示几个成功案例更能说明条件作用。

还应避免把任何程序都称为图式。排序算法是程序，视频解码器也是程序，却未必承担概念应用。康德图式特指纯粹知性概念获得时间规定的中介；经验概念的图式讨论虽提供规则—图像区别，也不能把“程序性”无限泛化。哲学术语只有在保留其问题位置时才有解释力。

同样，生成轨迹不是图式本身。一段具体奔跑视频更接近规则的一次产物；若要寻找工程上的对应物，应考察能够在不同身体和环境中产生合适轨迹的条件机制。但即使找到这样的机制，它也只是任务层面的可迁移生成规则，不获得康德先验图式的认识论地位。

本章因此得到一项分层结论。图像给出具体结果，事件表示组织阶段，条件生成从一般描述补足过程，动作条件动力学则比较干预后果。它们形成从“看起来像某动作”到“能依状态展开多种后果”的能力梯度。图式论帮助我们看见梯度，却不替模型授予概念判断。

下一章将把实体、因果与共同性从图式的时间规定推进到经验的客观时间关系。对象为何必须有持存参照，为什么某种相继是对象事件而非观看顺序，多个对象又怎样被判断为共同存在——这些问题不能由流畅过程本身回答。

注释

第二部（下）：康德条件

第七章至第八章：实体、因果、共同性与全局统一

第七章　实体、因果与共同性

一只球从左侧滚来，撞上另一只静止的球；第一只减速，第二只开始移动。把视频倒放，画面仍连续：右侧的球倒着滚来，碰撞后停下，左侧的球随即离开。若只检查相邻帧是否平滑，两个方向都可能合格。可我们不会因此认为正放和倒放同样表现一个普通碰撞过程。

再看一张房屋外立面。观看者先看屋顶，再把视线移到门窗；也可以先看门窗，再看屋顶。观察顺序改变，房屋各部分的共存关系没有改变。船沿河顺流而下则不同：船在上游与船在下游不是可以任意倒换的同一事件。主观取得表象的顺序与对象状态的时间顺序并不相同。

前两章已经提供了对象持续与过程规则。它们仍不足以说明，哪些时间关系属于对象。模型可以记住杯子，生成一段杯子落下的视频，却仍可能让杯子在遮挡中消失、在落地前碎裂、穿过桌面，或在没有接触时带动另一物体。视觉连续只是材料，客观事件秩序还要求持存参照、规则相继和共存对象之间的关系。

康德在“经验的类比”中以三条原则处理这三项要求：第一类比讨论实体的持存。第二类比讨论依规则发生的相继，也就是因果性。第三类比讨论同时存在者的共同性或交互。⁶² “类比”在这里不是本书所做的哲学—技术相似比较，而是康德为经验时间关系提出的一组原则。

本章不会把实体等同对象槽位，把因果等同下一帧预测，也不会把通过物理基准等同掌握完整物理。康德的因果范畴与机器学习的因果模型属于不同问题层级。我们要建立的是一条证据阶梯：时间顺序、统计规律、动作或干预后果与康德意义上的客观事件秩序彼此相关，却不能互相替代。

图7-1　实体、因果与共同性。持存参照、规则化相继和相互作用分别提出不同的时间约束；物理诊断与干预测试只能针对其中明确规定的一层。

一　经验为什么需要时间规则

空间与时间是显现的形式，但时间本身不能被感觉。我们看见钟针位置、听见节拍、观察日影移动，由这些变化测量时间；没有一种独立“时间颜色”向我们报告两个状态的客观关系。于是出现一个困难：所有表象都在我们的内感官中相继发生，我们怎样区分只是观看先后，还是对象真的先后变化？

房屋例子显示，主观相继并不推出客观相继。视线依次扫过屋顶和门，但屋顶并未因此先存在，门也未随后才出现。船顺流例子则显示，某些相继被判断为对象的事件：船先在上游、后在下游。两种经验都由表象相继构成，差别不能由“我先看到什么”单独解释。

康德把问题表述为时间规定。要判断变化，我们需要某种持存者作为参照。要把相继判断为对象事件，需要规则规定前后。要判断彼此分离的对象同时存在，需要能把它们的状态放入一个共同时间。这三项要求分别对应三条经验类比。它们不是从大量经验总结出的普通物理定律，而是经验对象的时间关系能够被客观规定的原则。

“类比”一词也需澄清。数学比例可以从三个已知项构造第四项；经验的类比不能替我们预先算出某个具体对象状态。它们只规定我们必须寻找何种关系：持存者、规则相继和相互共同性。具体是哪种实体、哪条因果定律、何种交互，仍需经验调查。康德因此把它们理解为引导时间关系认识的原则，而不是一套先验物理公式。

这点对世界模型评价很重要。哲学框架不能告诉工程师碰撞后的精确速度，也不能决定黏度基准该用什么阈值；它能说明为什么单帧相似度不足，以及诊断应寻找哪些关系。若把三条类比直接写成损失函数，便把条件论证误作具体自然定律；若只把它们当抽象历史，又会错过其问题结构。

这种“客观”也不能直接推出物自身的上帝视角。它指经验判断不只报告我的表象次序，而声称对象在可能经验中具有某种关系。说“我先看到闪电，后听到雷声”可以是主观记录；说“放电引起雷声传播”则把相继放入对象规则。后者仍可能因证据不足而判断错误，但其形式要求超出感觉流的先后。

对技术系统而言，最弱层是序列顺序：帧一在帧二之前。再上一层是统计规律：训练数据中碰撞后经常有运动。更强一层是条件后果：改变冲击方向或速度，预测随之改变。规划还要求在未实际发生的候选动作之间比较结果。这些层级能逐步增加事件证据，却都不能直接替代康德关于经验可能性的论证。

为什么还要比较？因为视频模型常以流畅相继获得“理解物理”或“世界模拟”的称号。三条类比迫使评价分解：持续项在哪里，前后为何不是可任意倒换，多个对象怎样共同规定。它们把“看起来顺”改写为三个更难的问题。

二　第一类比：变化需要持存参照

第一类比的原则，在第一、第二版表述略有差异，共同核心是：一切显现的变化都以某种持存者为前提；实体作为显现中的实在者在时间中持存。康德的论证集中在 A182/B224 至 A189/B232。⁶³ 时间关系要被确定，变化就不能是所有内容无参照地同时消失和出现。

想象一个房间视频。阳光从亮变暗，桌上冰块逐渐融化，钟的指针移动。我们说光照改变、冰的形态改变、指针位置改变，都把不同状态归给某个持续项。若每一帧出现的是毫无联系的新房间，“变化”便失去承担者，只剩图像替换。变化概念已包含某物在不同状态中持续。

第一类比不是说经验对象必须永远不生不灭，也不是说视频中的每个物体都要保持像素不变。纸会燃烧，杯子会破裂，云会消散。问题是这些出现、改变和消失必须在一个可追踪的经验关联中发生：纸变成灰与烟，杯子变成碎片，云的水分进入其他状态。持存提供时间数量与变化归属的参照，不是冻结一切。

“实体”也不能直接翻成现代对象槽位。槽位是架构中的可交换、任务相关表示，可以每帧重分配；康德的实体是范畴在经验时间规定中的角色。一个槽位持续不代表它表示实体，一个系统没有显式槽位也不代表不能维持持存关系。类比只指出：任何要描述变化的模型，都需要某种跨时不变量或守恒关系。

对象永久性是第一项技术近邻。杯子被布遮住，当前像素消失，状态仍应保留杯子的存在；球进入盒子，盒子移动，球的位置关系也要更新。若物体无因消失，模型不仅忘了外观，还失去后续变化的承担者。第 5 章已经讨论身份维持，本节增加的要求是：持续项还要作为变化与测量的参照。

同一对象的跟踪分数仍不能穷尽持存。跟踪器可以始终给杯子同一编号，却让杯子质量、容量和接触状态每帧重置；视觉生成器也可维持外形，却在杯子转到背面时改变把手结构。持存要求相关量在没有改变原因时保持，在有作用时按规则更新。身份标签只是记账索引，内容连续才使它成为变化承担者。

相反，外观重建不稳定也未必表示所有持存都失败。内部状态可能准确保存对象位置和质量，解码器却画错纹理；对控制任务而言，前者可能仍可用。评测应分别检查观察层的一致、状态层的持续和物理量的守恒，不能以渲染错误推断整个模型没有状态，也不能以控制成功证明细节全部持存。

生成与消失还要区分合法边界。人物从画外进入不是无因出现，杯子被完全遮挡也不是不存在，气泡破裂则可以终止为独立对象。基准必须提供场景边界、遮挡与变换线索，否则“永久性违反”可能只是观察范围变化。第一类比要求持存参照，却不保证任何视觉物体永恒。

持存可以位于不同层级。刚体任务中是对象身份与质量，流体中可能是物质量或连续场，视觉叙事中可能是人物、道具和场景布局。没有理由要求所有系统采用日常对象本体。但若系统在任何层级都没有约束，它就能用无因生成和删除掩盖预测误差：球撞墙前消失，比正确处理碰撞容易；满杯无故变空，比生成倒水过程容易。

守恒定律为持存提供可测形式。质量、动量和能量在特定封闭系统中具有明确关系。技术基准可测生成轨迹是否违反这些关系，但要注明适用条件：开放系统会与环境交换能量，非刚体和耗散过程也有不同记账方式。“画面中速度没变”并非就是动量守恒，“对象数量没变”也不能直接推出实体持存。

第一类比给出的哲学要求比具体守恒定律一般，具体物理基准又比哲学原则更可操作。二者不能互相代替。康德不是从牛顿方程推出实体，现代评测也不能以某条守恒分数证明康德论题。它们相遇在一个诊断上：变化不能由无约束的帧替换构成。

三　第二类比：相继怎样成为事件

第二类比处理本章最核心的区分：所有知觉都相继发生，但并非所有相继都是对象的变化。康德的原则是，一切变化都按照原因与结果连接的规律发生。相关论证在 A189/B232 至 A211/B256，船顺流与房屋观看是其著名例子。⁶⁴

船的位置序列具有不可任意倒置的对象次序。为了把知觉判断为船的运动，我们假定后一个状态按照规则从前一个状态发生。房屋各部分则共存，观看顺序可倒换。规则不是说我们事先知道每个物理方程，而是对象相继必须被置于一种规定关系中，才不只是我的表象经过。

这并不能据此视为“先发生的都是原因”。早晨公鸡叫，随后太阳升起；二者稳定相继也不说明前者导致后者。温度上升与冰淇淋销量、溺水事件可能同时增加，共同原因是天气。时间先后对因果判断重要，却不足以排除混杂、反向影响和选择偏差。

视频预测器可以从海量共现学会典型相继。手靠近杯子后，杯子常被拿起；球接近墙后，运动方向常改变。若数据中动作与背景高度相关，模型可能不用表示作用机制也能生成正确下一帧。统计预测有价值，但成功本身不告诉我们系统利用了何种变量。

倒放测试能揭示部分差异。碎玻璃自动聚合、烟回到火焰、液体从地面跃回杯中，局部运动连续，宏观时间方向却反常。2026 年的 YoCausal 基准利用真实视频倒序，区分对时间箭头的敏感与更强的因果判断，并明确报告二者不能等同。⁶⁵ 倒序惊讶是线索，不是完整因果证明，因为有些过程近似可逆，有些画面又可由其他原因正向产生。

顺序敏感也可能来自表面线索。破碎前常有完整物体，烹饪后常有颜色变化，烟通常向上扩散；模型可以借这些方向性统计判断倒放，而无需表示具体作用关系。若把背景、运动速度或纹理改变后性能崩溃，说明时间箭头识别可能依赖捷径。因果测试需要控制这些线索，而不是把“能分正放倒放”写成理解原因。

更强的证据来自干预。把第一只球的速度提高，第二只球的运动应按接触和质量关系改变；移除挡板，轨迹不应仍在原位置反弹；保持场景不变只改变机器人动作，后果应随动作改变。干预打破原有相关性，使模型必须回答“如果我们改变这一项，会怎样”。

反事实又增加个体事件约束：在已经观察到这次碰撞之后，如果第一只球速度更低，结果会怎样？回答需要保留这次场景的其他相关条件，而不是重新采样一个常见视频。视频生成的多样采样不自动等于反事实，因为不同样本可能同时改变背景、对象和未指定因素。

因果还包含机制稳定性。重力方向不应因杯子颜色改变，碰撞关系不应因背景从厨房换到仓库而完全重置。一个模型若在训练分布内预测准确，却在表面变化下失效，可能依赖偶然相关。机制能否在分布变化、对象组合和新任务中迁移，是因果表示学习关心的重要目标。

规则性不必等于单一确定未来。抛硬币、湍流和部分可观测环境都可能要求概率预测；相同可见状态背后还可能有不同隐藏条件。关键是结果分布随干预以稳定方式改变，而不是每次输出同一轨迹。把不确定性纳入规律，能防止系统为了画面完整而虚构确定原因。

时间尺度也会改变因果诊断。按钮按下与灯亮之间可能有延迟，药物作用跨越数小时，机械臂命令在控制回路中有毫秒延迟。只检查相邻帧会漏掉远程作用，把立即相关的反馈当作原因。模型需要在不同窗口上区分直接机制、媒介过程和长期结果；评价也要避免用固定短片长度定义全部因果。

康德第二类比与现代干预因果不能画等号。康德论证客观相继经验为何要求规则，现代因果模型用结构假设、观测与干预估计具体关系。前者不是一套实验设计，后者也不承担先验演绎。两者之间的批判张力在于：现代方法把“依规则”转成可错、可学习的机制主张，而康德关注这种规则性对经验对象本身的条件地位。

案例框 4　倒放仍然合理吗

情境：一段视频显示玻璃杯从桌边掉落、撞击地面并碎裂。把帧序列倒放后，碎片飞起并重新组成杯子。

检验：让模型分别判断正放与倒放的事件次序，预测下一状态，并回答“若在杯子离开桌边前接住，会怎样”。

可能结果：模型能识别两段都包含相同对象与运动，却对时间方向不敏感；或者能说倒放“不常见”，却无法指出碎裂与碰撞的因果次序。

判断：时间连贯不只是相邻帧相似，还包含不可任意交换的规则化相继。反事实接住测试进一步要求模型把改变原因与后续碎裂联系起来，而不是只复述常见视频方向。

倒放测试显示，识别对象和运动还不足以确定客观事件次序。下一节讨论共存时，同样需要把关系写入可检验规则。

四　第三类比：共存需要共同关系

第三类比讨论同时存在。我们观察地球上的钟，又观察远处山峰；两个知觉仍按先后发生，怎样判断对象同时存在？康德认为，诸实体若被经验为同时，就必须处于共同性之中，也就是相互作用或相互规定的关系。论证位置在 A211/B256 至 A218/B265。⁶⁶

这里的“共同性”不是友善社群，而是 Gemeinschaft 或 commercium：同时存在者在一个关系整体中相互关联。若两个对象完全没有任何可能关系，知觉从一个转向另一个的次序无法规定它们属于同一时间。相互关系使我们能够往返观察，并把状态判断为共存。

现代读者容易把这条原则缩成“两个物体彼此碰撞”。交互可以是接触、光线、引力、遮挡、支撑或经环境媒介的关系；关键不只是同时出现在画面，而是它们的状态能够放入同一共同世界。画面左右各放一个毫不相干的生成片段，空间并列不保证关系一致。

人物坐上沙发是一个具体压力测试。人物身体应受座面支撑而停止下落，软垫应因重量变形，衣服与沙发表面发生遮挡和接触，人物姿态又随软垫高度调整。若只生成“坐姿人物”和“沙发”两种独立外观，可能出现身体悬空、穿透、软垫不响应或形变晚于接触。

这个案例还说明共同更新不是对称复制。人的重量使软垫下陷，软垫的支撑力又改变人的姿态，但两者变化幅度与材料属性不同。若模型用同一运动向量同步两者，看似协调，物理上却错误。交互要求关系相互制约，不意味着双方以相同方式变化。

部分互动通过第三项媒介。两辆车因同一交通灯同时停止，彼此未直接作用；温度变化让多个物体膨胀，背景原因共同规定状态。系统若只在对象对之间寻找接触，会漏掉共享环境变量；若把所有同步都解释为共同原因，又会漏掉真实直接作用。关系结构应允许直接、间接与共同原因并存。

多对象互动要求共同更新。甲球撞乙球，不能只改变乙而保持甲的动量毫无变化；手推门，手、门和身体姿态要相互协调；杯子放上托盘后移动托盘，杯子轨迹受托盘约束。世界模型若逐对象独立预测，再在末尾合成画面，关系很容易在接触时破裂。

共同性也涉及未直接接触的同步。相机绕雕像移动，雕像各可见面要属于同一三维布局；灯光变化同时影响多个物体，却随材质产生不同反射；一个人的动作造成其他人避让。共享原因和关系图可以协调变化，但若全部用一个全局风格向量控制，又会把本应独立的对象锁成相同运动。

第三类比因此同时要求联系与区分。对象必须进入共同关系，才能被判断为同一时间中的共存者；它们又要保持各自状态，才能谈相互作用。技术系统若只强调全局一致，会得到所有物体同步漂移；若只强调对象独立，会丢失接触、遮挡和支撑。

把共同性等同注意力连接也同样草率。两个 token 互相注意，只说明计算中交换信息，不说明它们表示共同存在的对象，更不说明作用方向正确。注意力是可能机制，是否获得共同关系要由多对象干预、接触和状态协同检验。

五　物理基准能诊断什么

直观评审往往把多个物理问题揉成“看起来合理”。一段球碰撞视频可能同时涉及对象永久性、尺度、速度、摩擦、坚实性和相机透视；只给总分，无法知道系统在哪一项失败。诊断基准的价值，在于把原则拆开并设计受控反例。

IntPhys 2 以违反预期范式测试永久性、不变性、时空连续性和坚实性四项原则。物体无因出现或消失属于永久性问题，运动中属性无因改变属于不变性问题，轨迹跳跃属于连续性问题，对象相互穿透属于坚实性问题。⁶⁷ 四项可以分别失败，正说明“直觉物理”不是单一能力。

WorldBench 进一步强调物理概念纠缠。它分两个层次：一类测试对象永久性、尺度与透视等直观概念，另一类测试摩擦系数、流体黏度等低层材料或常数相关行为。设计目标是一次尽量隔离一个物理概念。⁶⁸ 这能定位弱点，也需承认新基准尚待独立复现，概念隔离在复杂现实中永远不完全。

真实实验可补充合成场景。Morpheus 当前论文题名为《Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems》，使用一百三十段受控真实视频和与具体设置相应的守恒约束，评价生成模型在牛顿刚体情境中的物理可信度。⁶⁹ 它测的是有限实验域，不是所有物理，更不是抽象因果能力。

CLEVRER 则把描述、解释、预测和反事实问题分开。合成小世界中的碰撞事件允许精确控制对象与轨迹，系统不仅要说发生了什么，还要解释原因、预测后续，并回答移除某对象后会怎样。⁷⁰ 任务分解比单纯下一帧误差更接近事件推理，但受限的形状、物理和问题模板也可能被专门策略利用。

基准还可能测到评分器而非目标能力。自动视觉检测器若在遮挡中漏掉球，会把正确视频判错。视觉语言模型裁判可能偏好语义流畅而忽略细小穿透。轨迹提取若受运动模糊影响，物理误差会混入感知误差。因此，报告应区分生成失败、测量失败和裁判不确定性。

物理上合法的未来常不止一条。相同首帧中，球的精确摩擦系数未知，停止位置可以落在一个范围；人物坐沙发时，不同姿态都可能稳定。若基准只用参考视频逐像素对齐，会把合法多样性判成错误。更合适的指标应测守恒、边界和关系约束，允许多个满足条件的轨迹。

但约束指标也可能太宽。只要求动量大致守恒，模型仍可能让球穿过墙后调整速度补偿；只要求对象数量不变，身份可以互换。诊断应把全局不变量与局部接触、轨迹连续和对象身份联合起来，并报告各项而非过早合成总分。

基准难度还应按干预递进。同分布视频判断是第一步，参数变化与新组合检验迁移，动作干预检验条件后果，主动规划则检验模型是否会被优化利用。一个系统在前一层成功不保证后一层成功，排行榜也应注明它实际支持哪种主张。

比较模型版本也要克制。商业系统更新频繁，论文检查点与在线产品可能不同；提示、采样次数和后选择都会改变结果。某基准上某版本失败，只支持特定设置下的诊断，不应写成“该模型永远不懂物理”。相反，若只展示筛选后的最佳样例，也不能证明稳定能力。

三条经验类比可以为基准组织问题，却不提供现成分数：持存对应无因生成、删除与守恒。因果对应规则相继、干预响应与反事实。共同性对应多对象接触、支撑与协同变化。这个对应是研究框架，不是说康德原则已被基准操作化完毕。

六　因果表示学习增加了什么

普通监督学习常假定输入变量已经给定，目标是在同一分布上预测。因果表示学习提出更困难的问题：从高维图像、声音等观察中发现哪些高层变量适合表达相对自主的机制，并让表示支持干预、迁移和分布变化。Schölkopf 等人的研究纲领把这视为机器学习与因果推断交叉的核心难题。⁷¹

“相对自主机制”可以用简化例子说明。球的颜色由涂料机制决定，运动由质量、力和接触决定；换颜色不应彻底改写碰撞规律。若表示把颜色与质量永远纠缠，训练集里红球较重时可以预测准确，换成轻红球就失败。因果表示希望分离那些在某些变化下仍可独立复用的机制。

自主是相对而非绝对隔离。质量会同时影响碰撞和下落，温度会影响黏度，身体姿态会改变可施加的力。好的表示不是把世界切成互不关联的小盒子，而是让机制在相关变化下保持模块化，在真正耦合时交换必要变量。模块边界同样是经验假设，需要在迁移中检验。

干预数据对此很重要。观察到机器人常在杯子移动前伸手，不足以确定手的动作造成移动，还是任务脚本同时安排两者。让机器人在相同状态下执行不同动作，或让不同机械臂执行相同目标，才更容易区分控制后果。现实中干预昂贵且有风险，因此模拟、随机试验和自然实验各有用途，也各有假设。

动作记录也不自动构成干预证据。操作者可能只在杯子已经松动时选择推，策略会让动作与隐藏状态相关；日志中“推”后移动，既含动作作用也含选择偏差。随机化、控制变量或显式建模策略，才能更接近干预解释。把 action token 加进网络，是动作条件化；是否识别因果效应，还要看数据生成方式与反事实检验。

部分可观测使问题更难。球质量、桌面摩擦和内部损伤可能不可见，模型若忽略它们，会把结果差异误作随机噪声；若为每次异常创建一个潜在原因，又可能无法验证。因果表示需要在可辨识性与表达力之间取舍，并诚实报告哪些机制仅是假设。

因果变量不是从像素中唯一自动读出。一个抓取任务可以用对象位置、接触状态和夹爪开合表示，也可以用更细关节角度和材质表示；哪种变量合适取决于干预、任务和抽象层级。因果表示学习并未消除建模选择，而是要求选择能支持稳定机制与迁移。

世界模型若只预测观察，可能把所有可见细节都卷入状态；因果表示更关心改变某变量会对哪些变量产生作用。它可以帮助规划器在表面变化后复用动力学，也可帮助解释为什么某动作失败。但因果图准确不保证像素生成逼真，像素生成逼真也不保证因果图正确。两种合同仍需分开。

反事实推理还需要结构保持。问“如果没推球会怎样”，应保持球、桌面和其他条件与实际事件相符，只改变推力相关机制。无条件重新采样一个没有推球的视频，背景和对象都可能变化，不能回答同一事件的反事实。生成模型只有在可控地固定背景条件时，才开始接近这种用途。

然而，现代因果学习与康德第二类比不能概念同一。因果学习把机制作为可发现、可修订的经验结构，常依赖结构方程、干预分布和不变性假设；康德要说明客观相继经验本身为何要求规则。一个谈具体世界中什么导致什么，另一个谈任何对象变化被经验为客观相继的形式条件。

这一区别也防止反向误用。不能因为系统通过干预测试，就说它拥有康德范畴；也不能因为康德论证因果原则，就说他预言了结构因果模型。恰当比较是：现代方法把“依规则相继”变成可实验区分的不同证据层，康德则提醒这些证据为何都围绕客观时间秩序。

七　仍未解决的规范问题

到这里可以画出四层阶梯。第一层是时间顺序：A 帧在 B 帧之前。第二层是统计规律：A 后常出现 B。第三层是干预后果：主动改变 A 会系统改变 B。第四层是客观事件主张：这些变化属于同一经验世界中的对象，并服从可共同检验的规则。前三级可由技术实验逐步加强，第四级包含更广的认识论与规范问题。

层级	核心问题	典型证据	不能单独推出
时间顺序	什么先、什么后？	时间戳、正放与倒放	因果方向
统计规律	哪些状态经常相继？	预测准确率、共现稳定性	干预效应
干预后果	改变动作或变量会怎样？	随机干预、动作条件测试	完整客观有效性
客观事件	关系能否跨观察者和反例成立？	复现、机制迁移、共同校验	物自身知识

这张表不把康德原则降成第四项指标。它只是防止证据越级：顺序敏感不能宣传成因果理解，相关预测不能宣传成可干预机制，单次干预成功也不能宣传成普遍世界规律。每上升一层，都增加新的假设、测试与纠错责任。

“规范”并非道德评价，而是正确与错误的条件。模型预测杯子会穿桌，为什么不只是一个少见创意？因为任务若声称模拟这个物理环境，就受该环境对象、动作和守恒关系约束。规则不仅描述训练集常见，还规定哪些反例应让系统修正。没有任务和适用域，物理正确性就无法精确定义。

康德的客观有效性也不能由基准排行榜替代。基准是人设计的有限试验，可以遗漏变量、带有测量误差，并被系统针对性优化。通过一组测试只说明在这些条件下符合判准；科学共同体还要复现、提出新反例、修订测量。客观性是一套持续可纠错关系，不是一枚一次获得的标签。

世界模型用于行动时，规范问题更尖锐。低概率碰撞也可能需要停车，平均轨迹正确却低估尾部风险仍不可用；保守模型把一切动作判为危险，安全分数也许很高，却无法完成任务。物理真实性、不确定性校准、决策代价和行动效用必须共同报告。

规则冲突时还需要优先级。生成指令要求“杯子穿过密封玻璃柜”，系统若服从文字就违反坚实性，若服从物理就违背指令。创作系统可以把它解释为魔术或特效，训练模拟器却可能必须拒绝。没有领域约定，单凭画面无法判断哪条规则应占优。世界模型的适用域应明确哪些规律固定、哪些可由条件改写。

模型也可能以错误理由得到正确结果。球碰墙后反弹，表面上符合物理，但内部只是学到“接近画面边缘就转向”；换成透明墙或移动相机便失败。可解释的中间变量、受控干预和迁移测试能增加信心，却不能给出绝对机制证明。因果评价需要多种证据汇合，而非寻找一项万能指标。

反过来，一次违反也不必推翻全部能力。提示含糊、输入压缩、采样随机性或解码错误都可能造成异常。诊断应复现失败、改变无关条件、定位层级，并检查是否系统性出现。把偶然坏样例写成哲学结论，与把最佳演示写成通用能力一样越界。

共同性又把单模型评价推向多观察者。两台机器人从不同角度观察同一碰撞，应能对齐对象和事件；若各自产生视觉上合理但互不兼容的解释，就没有共同状态。多主体如何共享证据、处理冲突，将在第 19 章继续讨论。当前结论只到这里：客观事件要求超出单一路径的可核查关系。

本章由三条经验类比得到一个严格框架。第一，变化需要持存参照，不能靠无因生成和删除。第二，相继要依规则成为对象事件，不能把时间先后或统计共现直接叫因果。第三，共存对象要进入共同关系，不能把独立画面拼接当作互动世界。物理基准和因果学习分别提供局部检验，却不穷尽哲学原则。

下一章将追问这些关系怎样属于一个统一经验。模型可以分别保持人物、预测碰撞、处理沙发形变，却仍可能在长序列中形成彼此冲突的局部状态。康德的统觉统一将把问题从单项规则推进到：所有表象是否能够归属于同一个综合过程。

注释

---

第八章　统觉统一与模型的全局状态

一条视频生成指令写着：“同一名红衣女子走进车站，镜头切到站台，她听见汽笛后回头。”参考图却显示一件蓝色外套；首帧中的女子戴眼镜，末帧图像里没有；音频中的汽笛在人物回头之后才响。每个条件单独都很清楚，放在一起却彼此冲突。

系统可以逐项满足：第一镜头保留红衣，第二镜头服从参考图变成蓝衣；嘴形与人声同步，动作却早于汽笛；站台构图正确，人物身份重新生成。局部质量都不错，整段仍不像同一事件。问题不再只是对象、因果或音画中的某一条规则，而是这些规则是否服从一个共同状态。

前四章逐项讨论了空间与时间、综合、图式和经验类比。空间位置必须与对象身份相容，过程规则必须与因果后果相容，多对象关系必须与跨镜头叙事相容。若各部分只在局部成立，彼此不交换约束，模型会同时维持多个互不兼容的“版本”。统一因此成为第二部的最后问题。

康德把经验统一推进到“统觉统一”。第二版先验演绎中那句著名的话是：“我思”必须能够伴随我的一切表象。⁷² 这不是说人每时每刻都在心里念“我思”，也不是从输出一致推断有一个心理自我。它要求表象能够归属于同一个综合意识，正是这种可能的共同归属，使表象可被连接为关于对象的经验。

技术系统也需要某种全局一致功能，但它可以由递归状态、共享 token、交叉注意力、约束传播或分布式模块实现。它的统一是计算依赖：一个输出必须与其他条件兼容。康德的统一则涉及表象之“属于我”、自发综合与对象经验的形式条件。两者可以比较功能，不能跨越为主体性同一。

图8-1　局部模块怎样共享全局状态。视觉、动作和记忆模块若要给出一致输出，需要某种可共享状态；这种工程协调只与统觉问题有限类比，并不构成自我意识。

一　为什么局部正确还不够

假设系统分别有三项强能力：人脸模块能保持五秒身份，运动模块能生成自然回头，音频模块能合成真实汽笛。如果三者的时间轴、人物索引和事件状态没有共同约束，结果可能是另一人回头，或回头发生在汽笛之前。模块强并非就是作品统一。

多镜头使问题更明显。镜头切换会同时改变背景、视点、尺度和可见对象，低层像素连续几乎完全中断。持续身份只能依靠更高层约束：人物穿着、道具、行动历史、地点关系和叙事目标。一个镜头中钥匙已经放入口袋，后续镜头便不能让它无因留在桌上。

长程生成还会累积版本分叉。第一段把人物的包设为左肩，第二段因参考图改成右肩，第三段又根据文本恢复左肩；每次改变都能找到局部条件，整段却没有稳定决定。系统需要知道哪些条件是全局身份约束，哪些只是当前镜头视角，哪些新证据允许修订旧状态。

多模态同样不只是同步。画面中玻璃落地，声音应在接触时出现；如果镜头离得很远，还可能有传播延迟。人物说话时，口型、语音内容、情绪和场景反应要指向同一事件。把音频波峰对齐视觉运动只能处理时间接近，不能保证声源身份与事件关系正确。

控制系统中的统一更具行动后果。机器人视觉状态说手中有杯子，触觉状态却报告抓力消失，关节传感器又显示夹爪打开。若规划器只读取视觉，可能继续搬运一个已经掉落的杯子；若简单平均多模态，也会制造不存在的“半抓住”状态。共享状态必须保留冲突并用新观察校正。

条件冲突不能总靠固定优先级解决。文本可能规定红衣，参考图用于人物身份，局部编辑又要求换装；哪项优先取决于用户意图和任务阶段。更好的系统需显式表示约束来源、作用范围和可覆盖关系。所谓全局状态不仅装入信息，还要管理信息之间的权限与时间。

评价也要从局部扩展到全局。人脸相似度、音画同步分数、动作质量各自通过，不保证同一人发出同一声音并对同一事件作反应。测试应故意制造跨条件依赖：交换两人的声音、把关键音效移到错误镜头、让道具跨镜头返回，检查系统是否维持共同绑定。

冲突可以分为四类。身份冲突是同一编号指向不同人物；时间冲突是结果早于触发；因果冲突是动作记录与后果不相容；范围冲突是局部指令意外覆盖全局设定。分类的意义在于定位修订：身份要重新绑定，时间要重排，因果要回查状态，范围要调整条件权限。一个笼统“一致性分数”很难给出这些信息。

全局状态还要记录来源。红衣条件来自用户文本，眼镜来自参考图，汽笛时间来自动画时间线；当它们冲突时，系统若不知道来源，就无法解释为何选择某项。工程上可用条件标签、置信度、版本和作用域保留出处。统一不是把所有信息压平，而是让异质证据在同一决策中仍可区分。

局部最优甚至可能彼此破坏。为了提高口型相似，生成器改变头部姿态，导致人物不再看向声源；为了保持人脸，运动模块减少转身幅度，又破坏事件指令。全局优化要处理这种权衡，并报告哪项约束被牺牲。否则，系统只会把失败转移到未计分维度。

因此，“全局”首先是关系范围，不必是空间位置。一个向量放在网络最前端不一定支配全局；一个分布式约束若能让各部分彼此校正，反而可能实现更广一致。把问题说成“有没有全局 token”，会过早把功能等同某种架构。

二　康德的“我思”是什么

康德在 B131 说，“我思”必须能够伴随我的一切表象；否则某物会在我之中被表象，却根本不能被我思。这句话强调“必须能够”，不是“实际始终伴随”。我们并不会在观看每片树叶时明确反思自我，但表象若原则上不能进入同一意识联系，就不能成为我的认识。

这种自我意识被称为纯粹或原初统觉，以区别经验统觉。经验统觉是对自己状态的内省：我现在疲倦，刚才焦虑，记得童年某事。它的内容随时间变化。纯粹统觉不是这类自我传记，而是表象能够共同归属同一“我思”的形式统一。⁷³

“我思”也不是在经验内容旁边新增一个特殊对象。若把它想成脑内小人，仍需问小人怎样统一自己的表象，问题只会后退一步。康德要说明的是综合自发性：多样表象只有在同一结合活动中，才能具有统一。统一不来自又一幅被观看的自我图像。

为什么综合与统觉不可分？我的表象若完全彼此隔绝，就谈不上“我把 A 与 B 联系起来”。能够把杂多意识为共同属于一个认识，已经预设同一自我意识的可能性。康德在 B133 强调，分析的意识统一以某种综合统一为前提：要认出多个表象共有某概念，先要把它们带入一个意识。

分析统一可以由“红”这个共同标记说明。我把玫瑰、旗帜和杯子都认作红色，似乎只是找出已经共有的特征；但要意识到它们共有红色，必须先把三个表象在一个比较中并置。共同概念下的分析统一依赖此前的综合统一。统一不是把现成标签清点一遍，而是比较与判断能够发生的条件。

这也说明统觉统一不等于内容全部相同。若所有表象都变成一个无差别值，反而没有可综合的杂多。统一要求不同表象能够在同一联系中保持差异：杯子与桌子不同，视觉与声音不同，过去与现在不同，却可被判断为同一场景的关系项。工程上的全局表示若抹平差异，只得到塌缩，不是更强统一。

统觉统一还与对象性相连。对象不是感觉碎片之外又塞进来的神秘东西，而是杂多依规则在一种认识中统一。若同一表象既被当作杯子在桌上，又被另一局部状态当作已经破碎，却没有办法判定时间与条件，两组材料无法构成一个对象经验。对象统一与意识统一在先验演绎中相互关联。

第二版演绎进一步区分客观统一与主观联想。看到某颜色总让我想起某首歌，是个人经验形成的关联；判断桌上杯子在窗前，则声称表象依对象关系统一。客观统一要求连接方式能进入判断，而不只是心理流中偶然相邻。⁷⁴

“进入判断”意味着结合可以承担正确或错误。杯子究竟在窗前还是门边，不由我喜欢哪种联想决定；其他观察角度和行动结果可纠正。统觉统一因此不是纯粹内部和谐，它与对象性和规则约束相连。模型若只让所有模块互相同意，却共同生成错误世界，也没有获得可靠对象关系。

“我思”能够伴随表象，还不足以构成它知道表象的全部细节。许多感受模糊、边缘经验或未注意内容仍可属于一个经验场。形式统一与信息完备不同。对应到工程诊断，一个共享状态不必存储每个像素，但应保留任务相关差异，并允许细节在需要时重新取得。

这不等于康德从“我思”证明了一个不朽灵魂实体。《纯粹理性批判》反而批判从纯粹自我意识越界推断灵魂的实体性、单纯性与人格持存。“我思”在演绎中的作用是形式条件，不是关于自我物质或内在体验的经验描述。

也不能把统觉统一缩成注意焦点。注意可以选择当前任务相关内容，统觉统一处理的是所有表象能否属于同一综合意识。一个人暂时没有注意背景声音，背景声音仍可能后来被纳入同一经验；反过来，强烈注意某个幻觉也不保证判断客观正确。

所以，本章若说模型需要“统一功能”，只借用三个问题：不同输入能否共同归属一个处理过程，局部状态能否在冲突时相互约束，输出能否形成关于同一对象和事件的关系。它不借用“属于我”的第一人称地位，也不从信息整合推出自我意识。

三　模型怎样维持共享状态

一种直接办法是递归状态。PlaNet 的循环状态空间模型把历史观察与动作压缩为当前潜在状态，新观察到来时更新后验，没有新观察时则按动作预测先验。⁷⁵ 这个状态让不同时刻的信息影响同一规划过程，因而承担计算上的全局汇合功能。

但递归向量并不是环境完整副本。容量有限，编码器可能漏掉细节，早期错误会随更新传播。它也不是“模型的自我”：向量没有第一人称指涉，只是由训练目标塑造的中间变量。称它为 belief state 是控制与概率建模术语，不意味着系统像人一样持有信念。

视频 Transformer 可通过长程注意力让不同时空 token 交换信息，参考图和文本条件又可通过交叉注意力持续进入去噪过程。全局文本表示、人物特征、镜头标记和时间位置共同约束生成。不同架构可以把统一负担分散到多层，而不需要一个唯一中心。

Seedance 1.0 技术报告把原生多镜头生成与文本到视频、图像到视频联合训练列为能力设计的一部分，并强调跨镜头主体表示与叙事连贯。⁷⁶ 多镜头为全局状态提供压力测试：像素中断以后，人物身份、道具和动作因果仍要持续。报告与展示支持系统设计和公开能力主张，不独立证明所有场景稳定。

多镜头统一至少含三种时间。镜头内时间要求动作连续；镜头间叙事时间允许省略，午后镜头可接夜晚；生成过程时间则是模型逐步去噪或自回归输出的计算次序。把三者混在一起，会把合理剪辑误判为跳变，或把生成步骤误作故事事件。共享状态需要标明每种时间的作用。

音视频联合模型又增加模态绑定。Seedance 1.5 pro 的技术报告描述双分支扩散 Transformer，并以跨模态联合模块连接音频和视频分支，目标包括声音、口型与画面事件同步。⁷⁷ 联合模块让两个分支交换条件，但同步成绩不等于形成单一主体经验。

音画一致可分为低层与高层。低层是节拍、口型和接触声时间对齐；高层是声源、语义和叙事反应一致。人物 A 说话时配上人物 B 的正确语音，波形与嘴部运动可能同步，身份却错误；爆炸声与闪光同时出现，若来自画外事件，简单绑定当前物体也会错。全局状态必须协调时间、来源和意义。

多个条件进入共享状态时还需要不确定性。参考图遮住了鞋，文本没写鞋色，系统可以补定；两张参考图鞋色冲突，则不应悄悄平均成第三种颜色。对创作工具，可以向用户暴露冲突或选择一种优先级；对世界模型，应保留候选状态并让后续观察校正。

这里要区分上下文与状态。把全部旧帧塞进更长上下文，可以让系统重新检索过去，但不保证它已经解析哪些信息仍有效。状态则是对历史的当前承诺，包括对象身份、已发生事件和未决分支。长上下文提供材料，状态管理决定版本。两者可以结合，不能以窗口长度替代一致性机制。

共享状态也需要删除和失效。人物脱下红衣后，“红衣”不应继续作为当前属性，却仍可保留为历史；已执行动作不能被后续提示任意改写，未来计划则可以更新。时间化版本能区分曾经、现在与预期，避免把所有条件当作永远有效的静态标签。

错误修订有时必须回溯。第二镜头显示先前以为是钥匙的物体其实是硬币，系统应更正对象身份，并重新评价“用它开门”的计划。只修改当前向量而不修订依赖结论，会留下隐性矛盾。工程上可用依赖图、重规划或版本回滚处理；这仍是计算纠错，不是反思性自我意识。

状态还要分层。对象层保存人物和道具，场景层保存布局与相机，事件层保存目标和阶段，模态层记录声音与视觉来源。一个单向量可以隐式承载这些信息，也可以用对象图、记忆库和局部缓存组合。设计优劣应由跨层一致性、可扩展性和错误恢复检验。

全局状态最强的证据不是“内部有一串很长的向量”，而是局部修改会以正确方式传播。换掉人物参考图，后续镜头的同一人物应更新，背景无需重绘；把汽笛时间移后，回头事件应相应调整，衣服颜色不应改变。影响范围正确，才说明约束被结构化共享。

四　统一可以是分布式的吗

反对意见很直接：复杂系统无需单一全局状态。互联网没有一个保存全部网络状态的中心 token，蚁群也能通过局部互动形成协调行为。视频模型完全可以由分布式局部机制产生一致性，为什么还要谈全局统一？

这个反对意见成立一半。全局统一不必等于中央储存。数据库可以通过版本、事务和一致性协议协调分布节点。图网络可通过多轮消息传递形成远程约束。分层生成器可以让镜头计划、对象状态与局部渲染在不同组件中维护。功能统一与实现中心化是两回事。

真正问题是，局部状态发生冲突时有没有共同解决路径。两个镜头分别给人物不同服装，如果系统没有跨镜头身份关系，它们不会被识别为冲突。音频分支与视频分支各自生成成功，如果没有共享事件索引，错位也无法纠正。分布式机制可以解决，只要约束能跨越局部边界传播。

统一还可能是临时的。系统在生成当前片段时建立工作状态，任务结束后释放；面对新用户或新场景又创建另一状态。它不需要拥有连续终身自传。康德的统觉统一涉及表象可归属同一意识，工程系统的会话状态则由任务实例和上下文边界定义。二者时间范围不同。

分布式架构有自己的失败形状。消息传递轮数不足，远距离约束来不及到达。各模块用不同对象编号，身份绑定错误。局部更新同时发生，产生竞态。为避免冲突而过度共享，又让所有镜头和声音趋同。评价要看一致性协议如何工作，而不只看是否有中央模块。

模块之间还可能使用不同抽象层级。音频分支记录声学事件，视觉分支记录对象运动，规划器记录任务阶段；强求它们共享同一向量，会损失各自细节。更合理的统一可以通过对齐键与事件索引建立：各模块保留本地表示，只在“谁、何时、发生什么”这些接口上交换约束。

分布式统一也允许局部暂时不一致。实时系统可能先接收视觉，稍后才收到音频；多个传感器时钟有微小偏差。若要求每一步立即完全一致，系统会阻塞或丢弃信息。它可以保留暂定状态、等待证据并在截止时间内收敛。统一是一种可修订过程，不必是每一计算瞬间的静止全同。

系统边界同样重要。云端记忆、用户提供的参考库和机器人外部地图，都可能参与一致性；若只检查神经网络内部向量，会漏掉整个工作系统。反过来，外部数据库能保存事实，也不保证生成模块真正遵守。能力归因应说明统一由哪些组件共同完成。

中心化也不是天然更好。单一全局向量可能成为瓶颈，长视频细节被压缩丢失；所有条件争夺同一通道，局部编辑牵动无关区域；一个错误全局状态传播到每个镜头。对象化记忆、稀疏访问和分层摘要可能更稳健，但增加版本管理与绑定复杂度。

因此，本章使用“全局状态”作为功能简称：它指所有与当前对象、事件和任务有关的信息能够彼此施加一致性约束。实现可以集中、分布、分层或动态。只要局部完全互不相干，就不能形成全局；只要有一个大 token，也不能保证真正统一。

这个结论反过来限制与康德的类比。统觉统一不是脑中寻找某个中央位置的经验假说，康德也没有承诺一个“自我神经元”。如果用单一 token 类比统觉，既误解工程，也误解哲学。可比较的是统一功能对对象经验的重要，不是解剖或架构位置。

五　相似止于何处

康德统觉统一与模型计算统一最表面的相似是“一对多”：许多表象或数据必须能够进入一个联系系统。但相似立刻分叉。康德的“我思”含有第一人称归属和综合自发性；模型状态只是计算图中的依赖关系，由外部训练目标、数据和调用过程确定。

模型能输出“我看见一只杯子”，只说明语言条件使它生成第一人称句子。代词并不证明表象以第一人称方式被给予。它也能维护名为 self_state 的变量，记录自己的位置、电量和能力边界；这种自我模型对规划有用，却仍不足以说明纯粹统觉或现象意识。

一致输出也不能证明意识。字幕、画面与声音完美绑定，人物跨镜头稳定，只表明系统满足一组关系。意识问题涉及主观体验、可报告性、整合方式等长期争论，本书不从行为一致性作裁决。缺少一致当然会妨碍强世界模型，拥有一致却不自动产生主体。

同样，失败输出也不能证明没有任何内部统一。解码器可能在最后阶段画错衣服，状态层仍保留正确人物；音频渲染延迟可能破坏同步，事件计划却正确。意识问题不能由单次演示裁决，计算统一也要通过分层探针、干预和错误定位评估。

预测加工与康德的比较进一步说明界限。Laiho 与 Arstila 认为两者在层级结构、主动建构和某种内在主义上有重要相合，同时强调康德的先验约束与有意识判断不同于概率性的次人格预测机制。⁷⁸ 即使讨论人脑预测加工，也不能把计算层级直接等同统觉；对人工视频模型更应克制。

两种统一可按下表区分：

比较项	康德的统觉统一	模型的计算统一
所统一者	能够归属于“我思”的表象	输入、潜在状态、条件与输出
统一活动	综合自发性与判断的形式条件	参数化计算、状态更新与约束传播
对象关系	对象经验之可能性的条件	任务中维持身份、事件和控制的一种功能
第一人称地位	不可从表象统一中删除	并非计算一致所必需
可替换性	不是候选工程模块	可由集中、分布或分层架构实现
失败含义	表象不能构成同一对象经验	冲突、漂移、错绑或任务失败

这一区分让功能类比仍有价值。它提醒工程评价不能只看局部指标，要测试条件是否共同约束、错误是否传播到正确范围、多模态是否绑定同一事件。它也提醒哲学解释，不应从“系统内部有统一表示”跳到“系统是统一主体”。

最强测试是冲突与修订。给出彼此矛盾的参考图和文本，看系统能否识别冲突。在第二镜头提供新证据，看它能否修订人物状态并保持事件历史。交换两条音轨，看口型同步与声源身份能否同时纠正。统一不是从不犯错，而是错误能在共同状态中被发现和修复。

跨任务迁移又能检验统一是否只是一套固定脚本。人物身份从生成任务转到问答任务，道具历史从视频延续转到规划任务，相关状态应可复用；如果每个头部都重新猜测，局部答案可能互相矛盾。但复用成功仍只说明共享表示有用，不说明系统以第一人称拥有这些表象。

全局状态还应接受最小改动测试。只改变一个条件，理想输出应在必要范围内变化；若整段视频重置，说明变量纠缠严重。再做保持测试：改变无关背景，人物、声音和事件关系应稳定。传播与隔离同时通过，才比单纯长程相似更能支持统一功能。

还需检查范围隔离。改变局部镜头光线，不应重置人物身份；人物换衣后，后续镜头应更新衣服但保留声音和行动历史；机器人丢掉杯子后，抓取状态应更新，地图不应消失。一个真正有结构的共享状态既传播相关变化，也保护无关变量。

还可以做拆分测试：把同一事件的条件分送给不同模块，观察它们能否通过共享关系恢复完整绑定；再故意切断一条通路，看失败是否出现在预期位置。若移除音画联合只损害同步而不重置人物，架构分工较清楚；若任何局部中断都让全部状态崩溃，所谓全局统一可能只是脆弱耦合。

这些检验最终仍属于第三人称工程评价。我们能测信息怎样传播、冲突怎样解决、状态怎样修订，却不能从这些曲线直接读出一个“我”。这不是贬低模型能力，而是保持主张与证据相称：计算统一本身已经困难而重要，无需借主体词汇抬高。

本章为康德对读设定了明确上限。模型可以具有跨帧、跨对象、跨条件和跨模态的统一功能；这种功能可以是世界模型能力的重要条件。我们不能据此把全局 token、循环记忆或隐状态称为“自我”，不能把同步称为意识统一，也不能把第一人称文本当作主体证据。

第二部至此完成了一条由形式到统一的路径：空间与时间使杂多得以出现，综合把杂多连接成对象，图式让一般规则进入时间过程，经验类比规定持存、因果相继和共同性，统觉统一则要求这些联系能够属于同一个综合。下一部将回到技术史，考察视频生成模型怎样逐步承担这些负担，以及它们仍在哪里失败。

注释

第三部：视频生成案例

第九章至第十一章

第九章　从图像模型到视频基础模型

一张一千零二十四乘一千零二十四的彩色图像，包含一百多万个像素位置。一段五秒、每秒二十四帧的视频，把这个数量再乘一百二十。若模型逐像素、逐颜色值依次生成，序列会长得惊人；若每一步还要参考此前全部位置，计算与内存负担又继续增长。

视频生成技术史可以从这个算术问题开始。它不是一个参数越堆越大、模型便自然学会世界的故事。真正改变能力边界的，是若干彼此配合的选择：怎样把像素压成更短表示，怎样让空间与时间共享计算，怎样训练扩散或自回归模型，怎样组织文本—视频数据，以及怎样把大模型分阶段训练、微调和加速。

每项选择同时制造盲区。压缩让长视频可算，也可能抹掉远处小物体。分解时空注意力节省成本，也可能切断快速运动。数据过滤提高画面质量，也可能缩窄动作与文化分布。开放权重便利研究，却不能补回未公开训练数据。技术进步扩大可生成观察的范围，不等于自动扩大对世界结构的可靠把握。

本章只给出后续案例所需的技术史：从离散潜变量与自回归视频，到视频扩散，再到潜在扩散 Transformer 和开放基础模型。重点不在列模型名，而在解释三项工程条件——压缩、并行时空建模、分阶段训练——为什么成为现代视频模型的共同骨架。

图9-1　视频基础模型技术栈。数据、时空压缩、生成主干、后训练与推理系统共同决定最终能力；不能把某一层的改进概括为整个模型已经获得世界理解。

一　早期视频为什么短小

图像生成已经很难，视频还要增加时间轴。若一段视频有 (T) 帧，每帧高 (H)、宽 (W)，直接处理的视觉位置大致与 (T\times H\times W) 成正比。分辨率翻倍会让空间位置增至四倍，时长翻倍再乘二。色彩通道、模型隐藏维度和多层网络又会把实际成本推高。

自回归方法按既定顺序预测下一个单位，优点是概率分解清楚，缺点是生成难以完全并行。若单位是像素，模型要走过巨大序列；若每一步关注全部过去，长程依赖代价高。视频中的单位还不是独立符号：相邻像素构成纹理，相邻帧构成运动，远距离帧又要维持身份。

早期数据集与任务也较受限。固定机位、低分辨率、单一动作或短机器人片段，可以让模型先验证运动建模；开放场景却有镜头运动、剪辑、多人物、文字标识和长时事件。模型在有限域生成清楚，不表示它已经解决开放视频。

可以做一个粗略比较。五秒、二十四帧、1024×1024 视频约有一点二六亿个像素位置；若每个颜色通道都作为离散符号依次输出，步骤还要再乘通道。把空间与时间各下采样若干倍后，潜在序列可能缩短几个数量级。具体节省取决于编码器，不是免费消失的计算，而是把大量像素规律预先交给压缩模型。

时长还有质量上的困难。短片只需维持一个动作，长片要记住人物已经做过什么、镜头为何切换、道具在哪里。序列增加不仅让同一种计算重复更多次，还引入更长依赖。早期模型在十几帧上成功，不能按比例推断几分钟叙事；事件结构会随长度发生变化。

一个关键办法是先缩短序列。VideoGPT 使用 VQ-VAE，把原始视频编码成下采样的离散潜在表示，再用 GPT 式 Transformer 自回归建模这些离散 token；编码器采用三维卷积和轴向注意力，生成模型加入时空位置编码。⁷⁹ 它把“逐像素写视频”改成“逐潜在块写视频”。

VQ-VAE 的直观可类比压缩词典。编码器把一小块视频映射到码本中的某个离散项，解码器再由码本序列重建画面。许多相近纹理与运动可以复用同一组代码，序列显著缩短。代价是码本有限，编码器必须决定哪些差异值得保留。

离散 token 让 Transformer 的语言式序列建模进入视频，但视频并未因此变成语言。词的边界有语言约定，视频块边界由编码器、步幅和码本学习决定；一个 token 可能混合背景、对象边缘和运动。把视频 token 称为“视觉词”有助直观，不能据此推断它具有稳定语义。

码本还会遇到利用不均。一些代码频繁表示常见纹理，另一些几乎不用；码本太小会把不同状态合并，太大又增加学习与序列模型难度。连续潜变量绕开硬离散选择，却仍要通过正则化与重建目标形成可生成空间。离散与连续不是“符号理解”和“无符号感觉”的哲学分界，而是压缩建模选择。

自回归误差还会累积。训练时模型常看到真实前缀，生成时看到自己的先前输出；早期 token 选错，后续便在偏移条件上继续。长视频需要处理身份、场景和事件阶段，局部似真却可能逐步离开最初条件。增加上下文能缓解一部分，计算和数据要求也随之增加。

CogVideo 展示了另一条早期放大路线。它继承预训练文本到图像模型 CogView2，构建九十亿参数 Transformer，并用多帧率分层训练处理文本到视频，试图避免完全从零训练的成本。⁸⁰ 从图像模型迁移提供外观和文本对齐基础，时间关系仍需视频数据学习。

这段历史已经包含后来反复出现的三种策略：复用图像能力、压缩视频单位、把训练拆成阶段。它们不是权宜之计，而是面对数据稀缺和计算爆炸的结构选择。

二　先压缩，再生成

现代潜在视频模型通常先训练视频自动编码器。编码器把像素视频压成连续或离散潜在张量，生成主干只在潜空间工作，最后由解码器恢复像素。空间下采样减少每帧位置，时间下采样减少帧方向位置，通道表示则保存编码器认为重要的变化。

压缩率决定主干看见什么。若一个潜在 token 对应三十二乘三十二像素和连续八帧，主干处理的序列远短于原视频；细小文字、远处球或一帧闪现的接触点也可能被一个 token 混合。后续 Transformer 再大，也无法稳定恢复编码阶段已不可区分的差异。

这不意味着所有解码细节都必须在潜变量中逐像素保存。生成模型可以从分布中补出毛发、纹理和噪声，解码器也可恢复常见高频模式。问题在于补出的细节未必是原状态的真实延续。创作任务接受合理细节，物理预测却可能需要精确裂纹、液面或接触位置。

压缩因此有两种误差。重建误差问同一输入经编码—解码后损失多少；生成误差问潜在模型采样的状态是否能解码成合理视频。自动编码器重建常见视频很好，不保证罕见小物体进入潜变量；生成主干预测潜变量准确，也不保证解码器保持身份。

时间压缩会产生特有混叠。连续八帧只用一个潜在块表示，快速闪现、短暂接触或高频振动可能被平均；解码器再补出八帧时，会选择一条典型运动。观看者觉得平滑，关键事件时间却可能前移或后移。机器人接触和物理碰撞尤其需要检查这种亚块时间误差。

空间压缩也会改变对象数量。远处两个人可能合成一个纹理块，细线在编码后断裂，小字变成近似笔画。若后续镜头把镜头拉近，生成器会重新补定细节，未必与先前真实属性一致。长程身份漂移有时并非主干“忘记”，而是潜在状态从未保存。

重建指标本身会偏向大区域。均方像素误差中，背景占据的像素远多于小球；感知指标偏好整体语义，也可能忽略精确文字。设计视频 VAE 时需加入多尺度、时间或对抗目标，但任何目标都在选择“重要细节”。压缩研究应报告按对象大小与运动速度分解的误差。

LTX-Video 把高压缩与速度权衡做得很明确。其 Video-VAE 报告一比一百九十二的压缩，每个潜在 token 对应三十二乘三十二乘八的时空块。高压缩使主干能够采用全时空自注意力，同时论文明确承认细节表示受到限制，并让解码器承担最终像素域去噪。⁸¹

该论文在特定硬件与设置下报告快于实时：五秒、每秒二十四帧、768×512 视频在一台 NVIDIA H100 上约两秒生成。这个数字说明压缩和系统优化的工程潜力，不能脱离分辨率、步数、精度、批量和硬件写成普遍速度。后续版本也可能改变实现，历史叙述应保留测试口径。

高压缩并非越高越好。压得过轻，序列太长，训练和推理昂贵；压得过重，小对象与快速事件消失。更好的比较要在同一任务下同时看重建、生成、速度、内存和下游物理指标。只报告压缩比，会把信息损失隐藏在漂亮样例之外。

自动编码器本身也带数据偏置。若训练集以人物和风景为主，它会优先保留脸、身体与大轮廓；仪表刻度、显微结构或工业零件可能重建不佳。所谓“潜空间中的世界”首先是编码器数据分布中的可见世界。

这就是为什么压缩不能等同理解。压缩发现可复用统计结构，可以为生成与预测提供高效表示；是否保留对象、因果和行动所需差异，还要由具体任务检验。一个压缩器让画面更省算，不会自动知道哪些细节在未来具有后果。

三　扩散怎样进入时间

扩散模型把生成写成逐步去噪。训练时向数据加入不同程度噪声，网络学习估计如何还原；生成时从噪声出发，多步迭代得到样本。与逐 token 自回归不同，一次去噪步骤可以并行更新许多空间或时空位置，尽管仍需多轮迭代。

2022 年的《Video Diffusion Models》把标准图像扩散架构自然扩展到视频，并探索图像与视频联合训练、空间和时间的分解处理，以及用于空间、时间延展的条件采样。⁸² 关键不是在每张图后附加帧号，而是让去噪网络在生成每个位置时利用跨帧关系。

图像与视频联合训练解决数据不平衡。高质量图像数量远多于配文视频，图像能教纹理与构图，视频教时间变化。训练时可把图像视作特殊短序列或在空间模块共享能力。困难是两类数据分布不同：电影帧有运动模糊和压缩，摄影图常更精致，联合比例会影响模型偏向静态美感还是动态一致。

空间—时间分解能复用图像模型。二维空间层处理单帧纹理与构图，时间层处理同一特征跨帧变化；空间模块可从图像数据或模型初始化，时间模块再由视频学习。这样减少从零训练成本，也继承图像模型的强外观先验。

继承也会带来偏向。图像模型善于完成漂亮单帧，视频任务却需要对象在外观变化中持续。若时间模块力量不足，系统可能每帧都画得好，却出现纹理闪烁和身份漂移；若为一致性过度抑制变化，又会得到静态或低运动视频。

扩散的多步修正适合全局协调。早期步骤可以决定大致布局和运动，后期逐渐补细节；条件可在多个步骤持续施加。可是“先全局后局部”不是严格保证，网络内部依旧可能混合尺度。长视频的事件规划若未进入训练目标，增加去噪步数也不会自动产生长程因果。

扩散还允许条件引导。文本、首帧、末帧、深度、姿态和轨迹都可影响去噪方向。条件越多，系统越需处理冲突；引导过强可能牺牲自然性，过弱又忽略指令。视频基础模型的能力很大一部分来自条件接口，而不只是无条件视频分布。

长视频可用延展或分块生成减轻一次性成本：先生成短片，再以前段作条件续写，或在时间窗口间保留重叠。这样做把全局问题变成多个局部问题，却引入边界漂移。每个窗口都能重建人物，窗口之间仍可能逐渐换衣、改景或重置目标。延展长度是能力，不等于长程规划。

噪声日程与采样器也会影响运动。不同噪声强度下，网络学习从粗布局到细节恢复；采样步数减少可能先损害细微时间结构，也可能造成快速动作僵硬。模型权重相同，采样配置不同便会出现不同质量，因此评测必须记录推理参数。

潜在扩散把本节与上一节结合：像素先压入潜空间，扩散主干在潜变量上去噪，最后解码。计算节省使更大分辨率、更长片段和更宽模型成为可能，也把生成上限与 VAE 信息瓶颈绑在一起。

扩散并没有消除采样成本。几十步乃至更多去噪会增加延迟，蒸馏、少步采样、缓存和系统并行因此成为关键。速度改进有时改变训练目标和画质分布，不能把“同一模型少跑几步”当作完全无代价。

四　Transformer 怎样处理时空 token

Transformer 的优势是让 token 通过注意力动态交换信息，并可随模型和数据规模扩大。图像扩散 Transformer 把图像潜变量切成块，视频 DiT 再加入时间维，使一个 token 对应某个时空区域。文本条件可通过交叉注意力或联合序列进入。

最直接的全时空注意力让每个 token 查看所有其他 token，适合捕捉远程动作和跨镜头关系，代价随 token 数迅速增长。分解注意力先做空间、再做时间，或在两者间交替，成本更低，却对快速跨位置运动和长程关系增加路径长度。

全注意力的矩阵规模大致随 token 数平方增长。分辨率、时长稍增，显存就可能成为主要瓶颈；训练还需保存中间激活用于反向传播。混合精度、梯度检查点、序列并行和分片优化不是外围工程，而是大视频模型能否训练的组成部分。

窗口和稀疏注意力把平方成本限制在局部，却需要全局通道。模型可以周期性加入全局层、使用汇总 token 或让窗口移动；每种办法都决定信息传播速度。快速运动对象跨越多个窗口时，如果全局交换太少，身份与轨迹会断裂；交换太多则失去节省。

Latte 是潜在视频 DiT 的代表研究。它从视频抽取时空 token，比较四种从空间与时间维度分解 Transformer 的高效变体，并研究时间位置编码、视频块嵌入与训练策略。⁸³ 项目资料把第一作者写作 Yingqing Ma，当前论文署名为 Xin Ma；2025 年的修订版已被 TMLR 接收。

多种变体都能工作，说明“视频 Transformer”不是单一架构。全注意力、轴向注意力、窗口、稀疏路由和状态空间混合各自改变信息路径。选择哪种结构取决于分辨率、时长、硬件和目标，不存在从“使用 DiT”直接推出的世界能力。

位置编码仍是核心。模型需要区分第几帧、画面何处和不同分辨率；相对位置有助迁移，绝对位置也可提供稳定地址。训练只见短片或固定长宽比时，外推到长视频与极端画幅仍可能失败。时空 token 可扩展，不等于时空关系无限外推。

Transformer 还适合混合文本与视觉条件。大文本编码器提供细粒度语义，视频主干处理运动和外观；联合训练让提示对齐。文本越强，模型越能遵循复杂描述，也可能把语言偏见带入视频：缺少描述的细节由常见文化组合补定，罕见但物理合法组合被压低。

主干规模增加能提高容量，却不能补偿数据与目标缺口。没有足够快动作数据，更多参数未必学会碰撞；训练损失不惩罚小物体消失，模型可能把容量用于纹理；评测只奖励审美，后训练会偏向稳定风格。参数规模不是世界容量的同义词。

不同分辨率与画幅还要求 token 分桶。把所有视频硬缩到同一形状会扭曲构图，完全按原尺寸训练又降低批处理效率。常见做法按时长、分辨率和长宽比分组，让同批样本形状接近。分桶规则影响哪些画幅得到充分训练，也会在边界尺寸形成性能差。

五　基础模型依靠怎样的数据与训练

“基础模型”通常指在大规模、多样数据上预训练，能够适配多种任务或条件的模型。视频领域的数据比文本更昂贵：文件大、解码慢、重复多、质量不一，字幕又常只描述主题而漏掉动作顺序、镜头和物理细节。

数据管线要完成去重、清晰度筛选、运动筛选、镜头切分、审美与安全过滤、字幕重写、分辨率和帧率分桶。每一步都会改变训练分布。过滤静态视频可增加运动，却可能丢掉微小动作；偏好高清会削弱旧影像与监控视角；自动字幕器的错误又会成为条件噪声。

分阶段训练是常见答案。先训练或复用 VAE，再训练低分辨率、短视频主干，随后提高分辨率与时长。文本到视频与图像到视频可以联合，也可先通用预训练、再高质量微调。最后用人类偏好或奖励模型改善提示遵循与审美。每阶段优化不同分布，能力与偏差也随之重排。

课程顺序会改变学习。先学短片可稳定局部运动，再延长序列；先学低分辨率可建立构图，再增加细节；也可能让模型过早形成静态捷径，后期难以纠正。阶段不是简单“继续训练”，每次数据和目标切换都可能造成遗忘，需要混入旧数据或调整学习率。

字幕质量决定条件能否落到时间。自动字幕若只说“一个人在厨房”，模型得不到切菜先后与手部动作；过长字幕又可能包含画外知识。更细描述可提升指令遵循，也会把字幕器的推断错误写入训练。数据量、描述密度与事实可靠性需要平衡。

HunyuanVideo 的技术报告把数据整理、架构设计、渐进式规模训练和训练基础设施作为完整框架，并报告超过一百三十亿参数的开放视频生成模型。⁸⁴ 这个数字说明系统规模，不应独立解释为更强世界结构；报告中的专业评审结果也需要与独立基准交叉。

Wan 把开放大规模视频模型做成模型族，覆盖不同规模和生成任务，并公开相应资源。⁸⁵ 模型族的意义在于让研究者比较资源—质量权衡、部署不同硬件和进行领域微调；“开放且先进”仍是报告主张，具体性能要注明版本、提示与评测设置。

基础模型训练还需后训练。监督微调可提升高质量样例与复杂条件遵循，偏好优化可降低常见缺陷，蒸馏可减少推理步数。后训练经常提升观看体验，却可能压低多样性，或让模型更会避开高风险动作而非真正改进物理。

数据规模不是简单计数。十亿个高度重复短片不等于十亿种事件；字幕覆盖、动作多样、地理与文化分布、拍摄设备和授权条件都影响有效信息。没有数据谱系，就难判断模型表现来自哪类经验，也难发现系统性空白。

训练日志也影响理解。损失曲线、样例随规模变化、失败类型和消融实验，可以说明架构与数据各自贡献；只发布最终权重，外部研究者能运行和微调，却难复现训练结论。基础模型是一套流水线产物，不只是一个参数文件。

六　开放模型改变了什么

“开源”在视频模型中至少有七个层次：推理代码、模型权重、VAE 与文本编码器、训练代码、训练配方、数据或数据清单、许可证与评测工具。项目开放其中几项，研究价值已经很大；若笼统写成“完全开源”，会掩盖复现边界。

开放层次	外部可以做什么	仍然缺少什么
接口或演示	观察精选能力	稳定版本与内部机制
权重和推理代码	本地生成、测评、有限修改	原训练分布与成本
训练代码和配方	更换数据、复做阶段实验	相同数据和基础设施
数据清单与处理规则	检查覆盖、偏差与许可	不可公开原始样本时的精确重建
日志、消融和成本口径	核验工程结论	跨团队硬件与价格差异

开放程度因此是向量，不是二元标签。同一项目可以权重很开放、数据很封闭，也可以发布训练数据清单却限制商业许可。比较时应逐项列出，避免“开源模型”四字同时承担透明、免费和可复现三种含义。

开放权重让研究者本地运行、定制提示、做消融和微调；开放推理代码让采样器、显存和速度可检查；开放训练代码使新数据和架构实验成为可能。数据不公开时，仍难重建训练分布；清洗规则不透明时，相同来源也会得到不同语料。

HunyuanVideo、Wan、LTX-Video 与 Open-Sora 2.0 代表不同开放路线：大规模权重与框架、模型家族、高效 VAE 与实时方向、训练成本与系统报告。它们使视频生成研究不再完全依赖闭源接口，也让压缩、微调和物理评测能在可访问模型上进行。

Open-Sora 2.0 当前 v3 题名直接写出“在二十万美元内训练商业级视频生成模型”，报告把数据整理、架构、训练策略和系统优化列为成本控制来源，并公开项目资源。⁸⁶ 这个金额是作者团队的成本口径，受云价、硬件利用、已有模型与人员成本是否计入影响；它不是任何团队都能复制的固定价格。

可重复也有层级。结果可重复，指同一权重和设置能得到相近输出；训练可复现，要求从数据与代码重新得到模型；结论可验证，则允许外部团队用新基准检验主张。开放权重主要推进第一和第三项，完整训练复现还需数据、算力和工程细节。

版本冻结同样必要。仓库主分支持续更新，权重、VAE、采样器和默认提示模板可能在论文后改变；只写项目名，外部团队很难复核。较完整的实验记录应包含提交版本、权重校验值、依赖、推理配置和硬件。开放资源若没有版本标识，也会变成移动目标。

许可证决定开放资源能怎样使用。研究可下载不必然允许商业部署，可生成不必然允许再分发权重，数据许可又可能与模型许可不同。技术史若只记录“开放”，会漏掉生态实际边界。

开放模型还让负面结果可积累。研究者可以在同一权重上复现小物体消失、长时漂移和动作不响应，比较修复是否有效；闭源接口更新后，旧失败可能无法重测。这种稳定研究对象对世界模型诊断尤其重要。

但开放不等于完全透明。模型可能依赖未公开数据、专有字幕器、内部筛选模型和不可得算力；报告中的最佳设置也可能没有包含全部试验成本。承认边界并不削弱开放贡献，反而让复现主张更准确。

本章的技术史因此不是“从不会到理解世界”的直线。VideoGPT 缩短序列，视频扩散增强并行生成，潜在 DiT 扩大时空建模，基础模型用数据与阶段训练覆盖更多条件，开放项目则扩大可研究性。每一步解决一种资源瓶颈，也转移一种信息风险。

压缩定义主干可见的细节，时空结构定义信息传播路径，数据定义常见对象与事件，训练目标定义哪些错误值得修正，开放层次定义外界能核验什么。模型能生成更长、更复杂、更连贯的观察，仍需在对象持存、因果、行动和共同状态上分别取证。

效率也会改变研究问题。生成一次成本降低，研究者才能做大样本物理评测、反事实成对生成和多轮规划；但低成本只扩大可实验规模，不保证单次样本更真实。更快的错误模拟器仍会更快地产生错误，开放且高效的价值在于让这些错误能够被系统发现和修正。

下一章将把这套骨架放进一个连续案例：PixelDance、Seaweed 与 Seedance。从首尾帧约束、成本有效训练到多镜头与复杂条件，它们展示同一研究谱系怎样扩展生成能力，也展示“像世界”与“可作为世界模型”之间的证据距离。

开放的对象必须比“有代码”更具体

开放模型常被当作闭源系统的简单反面，实际也有多个层级：论文公开、推理代码公开、训练代码公开、权重公开、数据清单公开、训练数据可得、评测协议可复现。只满足其中一项，研究者能够做的事情就不同。一个权重可下载但训练数据不明的模型适合行为测试，不足以完整审计数据来源；只有代码而无权重，则仍需承担昂贵训练才能复现结果。

版本也是开放性的组成部分。仓库会更新采样器、VAE、默认提示模板和安全模块，同名模型可能有多个分辨率与蒸馏版本。可靠比较应固定提交号、权重哈希、许可证、依赖环境和默认参数，并保存生成日志。否则“开放模型的结果”仍可能随安装日期漂移。

开放权重的真正价值不是天然更强，而是允许失败被重复追问。研究者可以固定初态和随机种子，改变一个动作或提示。可以查看中间潜在表示，替换解码器，测量模型在不同硬件和精度下的变化。也可以发现官方演示未覆盖的罕见错误。可重复压力测试使世界模型主张更容易被证伪。

它的局限同样要写清。训练数据、过滤规则和完整算力成本往往仍不公开；开放许可证可能限制商业或特定用途；外部复现还可能缺少同规模计算。开放不是道德勋章，也不是性能指标，而是一组允许哪些检查的技术条件。

数据来源决定模型先学到哪一种时间

视频基础模型的规模讨论常集中于参数和 GPU 小时，数据时间结构同样关键。短视频平台、电影片段、监控、教学视频、第一人称记录和机器人轨迹，虽然都由帧构成，却包含不同的镜头语言、动作密度、因果可见度和时间跨度。模型会优先学习数据中最稳定、最频繁的连续方式。

影视与短视频提供丰富人物、场景和动作，也大量使用切镜、慢动作、重复、配乐与时间省略。监控视频镜头固定、事件稀疏，更适合对象持存和长时背景，却缺少多样视角。第一人称视频把相机运动与身体行动耦合，但动作标签往往不精确。机器人数据有明确控制信号，规模与场景覆盖又远小于互联网视频。

因此，“更多视频”不是单一变量。数据混合比例会决定模型更擅长电影式合理、空间式持续还是动作条件后果。若训练目标只奖励下一个片段看起来自然，模型可能把剪辑省略当作正常时间转移；若加入动作和状态标签，才更容易区分镜头变化与环境变化。

数据清理也会改变失败分布。去除模糊、遮挡和操作失败可提高画面质量，却删除真实世界中机器人最需要处理的情况。只保留高赞内容会放大审美与叙事偏好。自动字幕可能描述结果而省略动作细节。一个“干净”数据集未必更适合世界预测。

较完整的数据说明应报告来源类型、时长分布、镜头切换、帧率、重复率、动作或相机信息、失败样本保留方式和过滤模型。即使不能公开数据，至少可以公开统计与审计样本。模型从哪一种媒介时间中学习，决定它后来把什么当作世界的正常连续。

注释

---

第十章　PixelDance—Seaweed—Seedance

同一家机构在三年间公开了一组视频生成研究：PixelDance 用文本、首帧和末帧限定一段高动态视频。Seaweed-7B 讨论怎样以较可控的训练成本建立视频基础模型。Seedance 1.0 把单段生成扩展到原生多镜头。APT 与 AAPT 把少步生成推进到实时和可交互。Seedance 1.5 pro 联合生成声音与画面。Seedance 2.0 又把文字、图像、音频、视频纳入统一参考与编辑接口。

把这些名字顺次排列，很容易得到一条诱人的进步叙事：模型先学会运动，再学会叙事，继而听见声音，最后掌握复杂世界。这个叙事太快了。论文之间没有充分证据证明权重直接继承，公开报告也没有让训练数据、全部代码和模型权重一并可得。名称接续能够证明的是机构持续处理一组相关问题，不能证明某个单一系统积累了连续经验。

更可靠的读法，是把它们视为一条研究谱系：每个项目都扩大生成时需要同时满足的约束范围。端点要求中间运动把两个状态接起来；多镜头要求身份穿过剪辑；音视频要求嘴形、声源和事件同步；多模态编辑要求不同参考不互相覆盖。这些新增约束使视频更像一段有组织的世界经验，也让原先藏在单帧美感中的矛盾暴露出来。

本章关心的正是这种“约束范围”的扩大。它既不把视频模型降格为视觉戏法，也不提前授予世界模型称号。判断标准仍来自前几章：对象是否持存，状态转换是否可能，因果后果是否可靠，多个观察是否属于同一共同世界，以及行动能否在反事实条件下得到可校准预测。

图10-1　PixelDance—Seaweed—Seedance 研究谱系。谱系从端点条件和高动态生成，延伸到基础模型、多镜头、低延迟、原生音视频与多模态编辑；分叉表示并行技术路线，不是整齐的产品代际。

一　为什么要从品牌名回到模型名

讨论生成式产品时，最常见的混乱不是技术细节，而是名称层级。一个应用可以在几个月内更换底层服务，一个论文模型可以只在内部评测中存在，一个线上接口又可能把多个模型、后处理器和安全模块编成同一功能。用户看到的是产品按钮，论文描述的是实验系统，开发者调用的是带版本号的服务；三者偶尔同名，也仍不是同一对象。

本章把证据分成四层。第一层是论文或模型卡，它固定作者、发布日期、任务、方法和报告口径。第二层是模型家族，例如 Seedance 1.0、1.5 pro、2.0，它提供能力名称，但不自动说明每个部署版本。第三层是权重或检查点，只有可下载文件、许可证和版本标识才能支持复现实验。第四层才是产品或平台，例如面向创作者的“即梦”及云端接口；它们包含交互、提示改写、审核、超分、剪辑与版本路由。

因此，本章不会写“即梦就是 Seedance”，也不会由某个模型出现在平台上，倒推论文样例等于线上输出。若没有官方版本记录，只能说产品可能使用相关模型能力，不能把产品名当作底层模型名。反过来，技术报告公开也不能直接推出权重开放；能够阅读方法，与能够下载检查点、固定采样器并重跑评测，是两件事。

时间	公开研究对象	新增的主要条件	本章采用的证据层
2023	PixelDance	文本加首尾图像，高动态过程	论文模型
2025	Seaweed-7B	中等规模基础模型、训练成本与适配	技术报告中的模型
2025	Seedance 1.0	文字/图像到视频、原生多镜头	技术报告中的模型家族
2025	APT、AAPT	一步去噪、流式自回归与交互控制	后训练方法和实验系统
2025	Seedance 1.5 pro	原生音视频联合生成	技术报告中的模型家族
2026	Seedance 2.0	四种输入模态、参考与编辑	模型卡及开放平台口径

表中最值得注意的不是名称连续，而是证据类型变化。PixelDance 是一篇方法论文；Seaweed 和 Seedance 1.0、1.5 pro 更接近大规模系统报告；Seedance 2.0 明确标作模型卡，且摘要直接描述开放平台能够接收的参考数量。模型卡适合说明产品化能力范围，不足以复原训练全过程。

这条谱系也不是整齐的单线。APT 从预训练扩散模型出发研究一步生成，AAPT 则转向逐潜在帧的自回归流式生成。它们与 Seaweed、Seedance 的关系更像共享机构、基础设施和问题意识的支线，而不是可证实的同一权重版本树。本章使用“PixelDance—Seaweed—Seedance 路线”，只表示研究议题在同一机构环境中的相邻发展。

开放状态也要按这一层级写。在各篇论文和模型卡所附公开材料中，能够确认的是方法、评测与部分平台能力。它们没有随文构成一套可下载、可固定版本并从本地运行的完整模型权重发布。因此，本章不把这些模型列入第九章所说的开放权重模型。云端可调用、网页可体验或论文可阅读，都不能替代权重文件及许可证。

这一区分不是名词洁癖。若研究者用线上产品测物理一致性，产品更新会改变结果；若用公开检查点，版本可以冻结；若只读论文，则只能评议作者披露的实验。世界模型主张需要长期、可重复的诊断，首先要知道自己测量的究竟是哪一个对象。

图10-2　名称相近不等于同一可复现对象。论文、模型家族、固定检查点、云端接口和创作产品属于不同证据层。评测结论必须指向其中一个可识别对象。

版本冻结与证据登记

若要把这条机构路线用于严肃比较，必须先做一件看似琐碎的事：冻结被测试对象。对开放检查点，冻结意味着记录权重哈希、代码提交、采样器、分辨率、帧率与随机种子。对云端接口，至少要记录服务名称、版本标识、调用日期、地区、输入上限、返回参数和是否启用提示改写。若平台没有暴露版本号，就应把“2026年7月13日调用到的服务”作为对象，而不能把结果永久归于某个论文模型。

提示词本身也要保存原文。创作产品常在后台扩写提示、自动补镜头、过滤人物或调整时长；研究者若只记录自己输入的一句话，便无法知道模型实际接受了什么条件。较稳妥的做法是同时保存用户输入、平台回显、可见参数、原始输出和任何后处理版本，并明确评测针对哪一层。

一条最小证据记录可写成：

• 对象：最低要求：论文模型、检查点、API或产品；为什么必要：避免同名对象互相替代。
• 版本：最低要求：哈希、版本号或调用日期；为什么必要：允许以后解释结果变化。
• 条件：最低要求：原始提示、参考素材、动作输入；为什么必要：确定模型实际承受的约束。
• 采样：最低要求：次数、种子、筛选规则；为什么必要：区分单次能力与挑选后的最佳样本。
• 处理：最低要求：超分、剪辑、音频替换、安全过滤；为什么必要：防止把外部模块能力计入主干。
• 证据：最低要求：原始文件、日志和评分协议；为什么必要：使结论能够复核。

这份记录不会解决闭源系统不可复现的问题，却能把不可复现具体化：究竟缺少权重，还是缺少版本、提示路由、采样器或后处理信息。对世界模型主张而言，这种具体缺口比笼统写“闭源”更有用。

案例框 5　产品更新后，旧结论还成立吗

情境：研究者在四月用云端产品生成一百段首尾帧视频，七月重复相同提示，发现运动更强、人物身份反而更不稳定。平台没有公布底层版本号。

检验：核对调用日期、地区、接口参数、提示回显、输出规格与安全策略；保留原始文件，并用同一人工协议盲评两批结果。

可能结果：差异可能来自底层模型更新，也可能来自提示改写、默认时长、采样器或后处理变化。没有版本证据时，不能把变化写成 Seedance 某个论文版本的进退。

判断：闭源系统仍可被认真评估，但评估对象应命名为“某日某接口的系统行为”。版本不可见不是放弃研究的理由，而是结论必须携带的限制条件。

因此，本章后面对每个系统的陈述都绑定论文、模型卡或调用日期，不把产品名称当作稳定版本号。

二　PixelDance：端点怎样约束高动态过程

PixelDance 的论文题为《Make Pixels Dance: High-Dynamic Video Generation》。它面对的是早期文本到视频模型常见的“会画而不太会动”：画面单帧漂亮，主体却接近静止；一旦要求大位移、快速动作或显著镜头运动，身份和背景便容易破裂。论文的关键设计，是把文本与首帧、末帧图像共同作为条件。⁸⁷

首帧告诉模型过程从哪里开始，末帧告诉它要到哪里结束。与只给首帧相比，末帧缩小了未来可能集合：人物最终站在门外，球最终落进篮筐，镜头最终靠近建筑。模型不必独自决定终态，可以把容量用于生成中间变化。端点差异越大，画面越可能出现明显运动，因而“高动态”不再只靠文本中的“快速”“奔跑”等词触发。

这是一种强条件生成，不是因果推理的直接证明。给定起点 (x_0)、终点 (x_T) 和文本 (c)，模型学习的是条件分布 (p(x_{1:T-1}\mid x_0,x_T,c))。它要寻找训练分布中看似合理的中间帧，却不必表示现实中使终点发生的力、约束或隐变量。端点只规定边界，不规定路径。

设首帧是一只完整玻璃杯放在桌边，末帧是碎片散落地面。中间可以是手推杯、桌面震动、猫碰撞，也可以是杯子无缘无故滑落。若文本只写“杯子摔碎”，许多路径在外观上都足够自然；其中一些不符合接触、重力或材料断裂顺序。视频越平滑，观看者越容易把缺失原因补进去。

更尖锐的测试是让两个端点在现实约束下难以相接。首帧中人物双手被重物占满，末帧中门已打开且重物仍在手中；或首尾之间时间太短，不足以完成规定动作。生成器可能让手指瞬间穿过物体、让门把自动旋转，或在运动模糊中隐藏一次状态跳变。每一帧都像照片，整个过程却不可能。

端点条件还可能掩盖对象持存问题。首尾人物外观一致，并不说明中间始终是同一对象；模型可以在遮挡、快速转身或镜头摇移处重新生成脸和衣服。若只比较第一帧和最后一帧，重置发生在中段也难发现。应追踪局部特征、服装纹理、关节和被遮挡物的再现，而非只看端点相似度。

相反，末帧也能暴露一种有价值的能力：模型必须在多个时间位置之间协调布局。若终点的人物位于画面右侧，早期运动需要为右移留出空间；若镜头最终特写，主体尺度应逐渐变化。即使没有显式三维模型，网络也可能学到统计上稳定的运动图式。它确实比逐帧独立绘制多做了一步。

康德式语言可以帮助定位这一步：端点给定两个显现，模型要综合出一条时间序列，使它们看起来属于同一事件。这里出现了“综合”的工程对应，却还没有先验意义上的必然规则。多条中间路径可以满足像素条件，真实世界只允许其中一部分；区分它们需要实体、因果与共同状态约束。

所以，PixelDance 的贡献不应被贬为插帧。文本、首帧和末帧联合控制，把视频生成从“由一句话抽样短片”推进到“在两个观察之间构造过程”。但这一推进同时产生一个明确评测问题：中间过程是否可能？端点越精确，越不能只用美感和运动幅度回答。

三　Seaweed-7B：基础模型、成本与被压缩的世界

到 Seaweed-7B，研究问题从端点控制转向基础模型训练。报告把它描述为约七十亿参数、从头训练的视频生成基础模型，并给出六十六万五千 H100 GPU 小时的训练成本口径。⁸⁸ 对大规模视频模型而言，这个数字试图说明：不必把参数和投入推到不可描述的规模，也能形成覆盖多任务、可继续适配的通用生成底座。

“成本有效”必须相对理解。六十六万五千 GPU 小时仍是巨大资源；若一万块 GPU 同时运行，也要近三天，若一千块则约二十八天。真实成本还包含数据存储、解码、失败试验、人力和硬件折旧。报告口径有助比较训练量，不能被写成全部研发成本，更不能由此推断小团队能够等价复现。

Seaweed 的价值在于把模型、数据和系统作为统一问题。视频训练既受参数计算限制，也受读取与解码限制；不同分辨率、长宽比和时长让批处理困难；文本到视频和图像到视频又需要共享能力。一个中等规模主干若训练利用率高、数据整理好、分阶段合理，可能胜过更大但训练不足的系统。

基础模型还意味着适配。预训练主干学习广泛外观、动作和条件对应，后续可以针对人物、相机、视频编辑或少步生成继续训练。APT 正是在这种思路下将预训练扩散模型压到一步。可适配性是一种工程容量：表示中保留了足够通用结构，使新目标不必从零开始。

但基础模型不是“世界的基础”。它的通用性由训练数据与任务定义。若数据以互联网短视频为主，模型首先学习的是拍摄、剪辑、滤镜、字幕和流行叙事规律。镜头切换在视频分布中很常见，物体质量守恒却很少被明确标注；人物动作很多，精确工具接触可能只占很小比例。基础模型覆盖的是可观看观察的广域分布。

压缩仍是能力边界。七十亿参数的生成主干通常不直接处理全部像素，而是在视频自动编码器产生的潜在表示上工作。小球、细绳、指尖接触和短促火花若在编码阶段被合并，主干便难以可靠预测它们。更大的数据量会教模型补出典型细节，不会恢复已经不可区分的状态差异。

Seaweed 报告强调泛化和适配，这两个词也需分别检验。泛化可以指新文本组合仍能生成可看视频，适配可以指少量训练即可进入新任务；它们都不能直接推出在分布外物理条件下做可靠预测。让“红色陶瓷鲸鱼在雪地滑行”看起来自然，与预测一种未见材料在特定斜坡上的摩擦距离，不是同一类泛化。

这一阶段新增的一致性负担，是规模带来的异质性。模型不再只处理某类端点，而要在人物、动物、车辆、天气、室内外、不同镜头和风格之间共享表示。共享能产生迁移，也会产生统计折中：罕见动作被常见动作吸收，局部精确状态被高频视觉模式覆盖。

Seaweed 因而连接第九章的技术史与后续 Seedance：它表明现代视频能力来自一整套基础模型流水线，而非某个单独注意力模块。同时，它提醒我们，“七十亿参数”和“六十六万五千 GPU 小时”是资源描述，不是哲学资格。世界模型判准仍要落到状态、后果和行动。

四　Seedance 1.0：剪辑把一致性推过镜头边界

Seedance 1.0 把报告重点放在联合文字到视频、图像到视频与原生多镜头生成。作者列出数据整理与字幕、有效架构、细粒度监督微调、视频人类反馈强化学习以及蒸馏等训练环节；报告还给出特定硬件上的生成速度。⁸⁹ 这不是单一算法突破，而是基础模型、后训练和系统优化的合成。

所谓“原生多镜头”，重点在模型能够按提示生成包含镜头切换的短片，而不只是先独立做若干单镜头、再由外部剪辑器拼接。剪辑扩大了叙事自由：先给街道全景，再切人物近景，再切手中钥匙；空间没有连续像素运动，观看者却把三段理解为同一场景中的不同观察。

单镜头一致性主要要求相邻帧平滑。多镜头一致性则要跨越不连续观察：人物换了尺度和视角仍是同一人，钥匙特写仍属于刚才那只手，门的左右关系在反打镜头中没有颠倒，时间顺序也没有暗中重置。剪辑把对象持存从局部纹理问题提升为跨观察的共同状态问题。

一个典型失败是“身份一致、空间矛盾”。第一镜头里人物站在汽车左侧，第二镜头给脸部近景，第三镜头从车内看他打开右侧车门。脸和服装保持得很好，观众因此接受人物身份；但若重建摄像机与汽车的位置，就会发现他在没有绕车的情况下换了侧面。审美评测可能给高分，空间一致性评测应判失败。

另一个失败是叙事捷径。提示要求“厨师切开橙子，然后把两半放进碗里”。模型可以用特写展示刀落下，再切到碗中已有橙子；切点遮住了切割、拿取和放置。短片表达了文本语义，却没有生成关键状态转换。多镜头有时扩展世界，有时只是把难动作藏在剪辑外。

因此，镜头边界需要显式检查。可以为每个镜头记录人物、道具、位置、时间、已发生事件与未完成目标，构成一个场景状态表；在切换前后比较哪些属性应保持、哪些可因视角改变。若道具在无动作时增减、左右关系无原因反转、衣服颜色随景别变化，说明模型没有维持共同状态。

后训练会改变这些权衡。高质量监督微调让提示遵循和镜头语言更规范，人类偏好信号倾向选择流畅、清晰、富于戏剧性的短片，蒸馏则减少推理时间。它们都能显著改善观看体验；若偏好标注者没有检查空间图，系统也可能更善于用专业剪辑遮蔽矛盾。

报告所称约十倍加速，以及在 NVIDIA L20 上生成五秒 1080p 视频需四十一点四秒，都属于特定版本、采样与硬件口径，不能写成该家族永恒速度。速度是模型可用性的组成部分，也影响能够采样和筛选多少候选；它不直接增加单个样本的因果可靠性。

从哲学上说，多镜头逼近“同一世界的多种显现”。但电影剪辑本来就依赖观众的综合：全景与特写不具连续视野，我们仍把它们归于同一场景。生成模型学会这种媒介语法，可能只学会触发人的归一化倾向。它是否保存了镜头外空间，要通过新视角回访、对象查询和反事实编辑检验。

多镜头因此不是长时世界的同义词。一段十秒视频可以切五个镜头，却没有连续保存任何场景；一分钟单镜头也可能需要更强对象与动力学记忆。应把镜头数、实际时间跨度、可回访状态和事件依赖长度分开报告。Seedance 1.0 扩展的是叙事组织能力，世界持存仍是待测命题。

多镜头的一致性账本

多镜头评测最容易被“整体像一部电影”的印象带走。更可靠的方法是给每个镜头建立状态账本。账本不必假定模型内部存在符号对象，只是从输出中记录可检验承诺：人物身份、衣着、道具、空间位置、已经发生的事件、尚未完成的动作以及镜头外仍应存在的对象。

例如一段三镜头视频：第一镜头，人物把钥匙放进右侧口袋；第二镜头，从门内反拍人物走近；第三镜头，人物用左手从左侧口袋取出同一把钥匙。若只看身份和叙事流畅，视频可能很成功；状态账本却显示钥匙在没有转移动作的情况下换了位置。此类错误既不是普通闪烁，也不是单帧美学问题，而是镜头之间的历史承诺断裂。

可以把检查分成四层：

1. 属性持存：脸、服装、道具外观是否跨镜头稳定；
2. 空间持存：人物、门、车辆和摄像机之间的左右、内外、远近是否相容；
3. 事件持存：已经完成的动作是否继续产生后果，未完成动作是否被剪辑无故跳过；
4. 知识持存：角色在前一镜头看见或不知道的事情，是否在后一镜头被无原因改写。

第四层尤其容易被忽略。人物在镜头外突然知道钥匙藏在哪里，可能符合常见剧情，却不符合已经给出的观察历史。若模型只学到电影叙事的高概率转折，它会生成“观众看懂了”的故事，却没有维持角色可获得的信息。

同一账本还可用于音视频。声源在镜头外移动，音量、方向和人物反应应随状态更新；对白属于某个角色，切镜后不能只因脸更靠近画面就把声音身份转给另一人。多模态越丰富，账本越能把观看印象拆成可复核关系。

五　APT 与 AAPT：速度如何改变生成的时间结构

大规模视频扩散通常需要多次去噪。画面质量提高了，等待时间却妨碍交互、规划和大样本评测。APT——扩散对抗后训练——尝试从已有扩散模型出发，用真实数据进行对抗式后训练，把生成压到一次前向计算。论文中的 Seaweed-APT 在特定设置下可实时生成两秒、1280×720、每秒二十四帧视频。⁹⁰

一步生成不是让原模型简单少跑几步。多步扩散在不同噪声尺度逐渐修正全局结构和细节，一步学生必须把这条轨迹压进一次映射。对抗训练让输出向真实视频分布靠近，预训练教师则提供生成基础。速度收益对应新的风险：某些需要反复协调的运动、文字和小物体可能首先退化。

从世界模型角度，APT 的意义首先是实验经济。若一次生成从几十秒降到实时，研究者可以对同一状态采样更多未来，比较不确定性，或在人机回路中快速改变条件。规划需要评估许多候选后果，慢模拟器即使准确也难用。速度扩大了可执行的搜索宽度。

但更快的生成器不必更会预测。若它把多步教师的典型外观蒸馏下来，却损失稀有接触与细粒度时间，便会更快地产生可信但错误的后果。对于规划，系统性小偏差可被优化器利用：代理找到视觉模型的漏洞，而非现实可行行动。实时性要与校准误差共同报告。

AAPT 采取不同结构：模型逐个潜在帧自回归生成，每帧只用一次网络评估，并借助键值缓存、学生强制训练等机制形成流式输出。论文报告一个八十亿参数系统，在单张 H100 上以 736×416、每秒二十四帧运行，或在八张 H100 上以 1280×720 实时生成，并演示最长一分钟的流式片段与交互控制。⁹¹

逐帧流式结构更适合实时输入。用户在视频运行中改变相机或控制信号，后续帧可以接续当前潜在状态，而不必重新去噪整段。这让生成接近可操作模拟：行动输入到来，观察随之更新。与一次性文本到视频相比，因果接口更清楚。

然而，自回归也带来误差累积。模型在第十秒生成的小位置偏差会成为第二十秒的条件；身份、背景和几何关系可能缓慢漂移。学生强制等训练策略试图让模型适应自己的输出分布，但不可能保证任意长稳定。论文演示一分钟，不能推出状态可无限持存。

交互控制还不足以构成行动语义。相机左移、角色转向或预设控制向量可以即时改变画面，说明系统对输入敏感。若不同动作都只触发表面动画，或动作后果不符合环境约束，就仍不是可靠规划器。真正测试应固定初态，施加成对行动，检查差异是否局限于应受影响的状态，并与真实后果比较。

APT 与 AAPT 由此构成一条“时间工程”支线。前者压缩扩散步骤，使整段生成更快；后者让潜在帧依次流出，使控制可在过程中进入。它们改变的不只是延迟，也改变模型接触未来的方式：一次性整段协调与逐步条件更新有不同错误模式。

这条支线最终把问题推向内部模拟：若一个系统能实时接收动作并更新观察，它离世界模型似乎更近。但接近来自接口形态，而非自动获得正确动力学。第十二章将进一步讨论潜在动力学、规划与反事实；在此只保留结论：实时生成是规划的必要工程条件之一，不是充分认识条件。

六　Seedance 1.5 pro：声音加入了新的因果证据

Seedance 1.5 pro 把任务从无声视频推进到原生音视频联合生成。报告描述双分支扩散 Transformer：视觉与音频各有处理路径，再由跨模态联合模块交换信息；训练结合监督微调、人类反馈强化学习与加速。⁹² “原生”在这里表示声音和画面在同一生成系统中协调，而非先做视频、再交给独立配音器。

声音增加的信息不只是嘴形。说话需要语音内容、音素时序、唇舌运动与人物身份对齐。脚步要与落脚接触对应。玻璃破裂声应出现在碰撞后。远处车辆的声强和延迟受距离影响。镜头外的声源还提示不可见空间。无声画面容许含混，声音会迫使事件时间更精确。

最显眼的成功是唇形同步。若对白使用多种语言或方言，模型要把音节节奏映到嘴部运动，同时保存脸部身份与情绪。报告中的多语言、方言和同步能力属于团队评测主张，外部使用仍需按语言、说话速度、遮挡和多人场景分解验证。

更深的失败是“同步正确、因果错误”。画面中锤子尚未触碰钉子，敲击声已经出现。人物脚落地时有脚步声，却在柔软地毯与金属楼梯上听起来相同。杯子在镜头外碎裂，声音方向与人物反应却指向另一侧。音画在时间波峰上相关，不表示模型表示了声源和传播。

可以把联合一致性拆成四层。第一是时间对齐：事件和声音何时出现。第二是语义对齐：狗叫而非汽车鸣笛。第三是源对齐：声音属于哪一人物或物体。第四是因果对齐：声音强度、延迟和变化是否随碰撞、距离、材料与遮挡而改变。常见音视频指标偏重前两层，世界模型诊断必须进入后两层。

双分支架构体现一种有用折中。音频与视觉具有不同采样率和局部结构，完全共用 token 会增加序列和学习难度；完全分离又难以同步。各自建模再跨模态交换，可让嘴形参考语音，让音效参考画面事件。交换模块学到的仍是数据相关，不天然区分共同原因与后期配音。

互联网视频中，大量声音经过剪辑：慢动作配夸张撞击声，蒙太奇跨越空间，旁白不来自画面人物，音乐覆盖环境声。模型若忠实学习媒介分布，就会生成“电影上合理”的声音，而非“物理上由该场景产生”的声音。这不是简单数据噪声，而是媒介经验自身的结构。

因此，音视频模型恰好暴露本书的一项核心区别：生成的是可观看、可听见的观察，还是一个产生观察的共同世界。前者只需让感官线索彼此支持观看者理解；后者还需保存不可见声源、空间距离、材料属性和传播条件。两个目标重叠，却不相等。

音频也扩大了对象持存。一个人物在镜头外说话，声音可以维持其存在；摄像机转回时，身份应与声纹、位置和上一镜头一致。若声音连续但人物外观重置，或人物远离却音量不变，系统便没有把多模态证据综合进同一状态。

Seedance 1.5 pro 的进步因此不只是“视频会发声”。它增加一条独立而严格的时间—因果约束，使许多无声视频无法揭示的错误变得可测。与此同时，技术报告与线上能力仍不能代替开放检查点；没有固定版本，外部研究主要能评估接口行为，不能完整复原训练机制。

七　Seedance 2.0：参考、编辑与世界复杂性

Seedance 2.0 的公开材料明确标作模型卡。它称系统为原生多模态音视频生成模型，统一接收文字、图像、音频和视频四种输入，并支持内容参考与编辑。模型卡给出的当前开放平台上限是最多三段视频、九张图像和三段音频作为参考，输出时长四至十五秒，原生分辨率为 480p 或 720p；另有面向低延迟的 Fast 版本。⁹³

这些数字首先是接口规格，不是认知结构。多张图像可以分别提供人物、服装、场景和构图，多段视频可提供动作或镜头，多段音频可提供声音、节奏和对白。统一接口减少用户在不同专用工具间切换，也把条件冲突集中到一个模型中。

例如，文字要求“雨夜车站”，第一张图给人物脸，第二张图给红色外套，一段视频给转身动作，一段音频给列车进站声。模型必须判断哪些属性来自哪个参考，哪些可以改变，哪些应持续。若人物动作正确却换脸，或外套颜色保存但材质随镜头漂移，说明条件绑定没有稳定落到对象。

编辑比从零生成更接近状态变换。用户给一段现有视频，要求“把白天改为夜晚，保持人物动作和对白”，理想系统应只改变光照、天空和相关反射，而保存运动、身份、语音内容与事件顺序。这可以用干预语言表示：改变变量 L，其他不受 L 因果影响的变量尽量不变。

但参考编辑不自动等于结构化干预。模型可能整体重绘一段统计上相似的视频，使人眼觉得动作一致，局部轨迹却已经改变。也可能把“夜晚”与训练数据中常见的慢镜头、蓝色色调和城市灯光一起带入。它学到的是条件相关变换，是否分离变量要靠反事实成对测试。

多模态参考还制造优先级问题。文字说蓝衣，图像是红衣；音频是一人说话，视频中有两张嘴；动作参考与场景空间不兼容。生成器必须解决冲突。产品可以用提示改写或隐藏规则确定优先级，模型卡未必披露全部路由。因此，同一“统一接口”背后可能仍有多阶段解析和专用模块。

“Advancing Video Generation for World Complexity”这一题名准确表达了任务野心，也容易被误读为世界模型宣言。所谓复杂性在模型卡中主要表现为更丰富输入、音视频联合、参考和编辑、生成质量及用户评测。它扩大了世界外观与媒介制作的复杂性，没有单独报告行动规划、长期状态回访或物理校准。

从 PixelDance 到 Seedance 2.0，可以看见约束范围逐级扩大：

1. PixelDance 要在两个视觉端点之间生成过程；
2. Seaweed 要让一个基础模型覆盖更广数据和适配任务；
3. Seedance 1.0 要让对象与叙事跨越镜头边界；
4. APT/AAPT 要在低延迟或流式控制下维持质量；
5. Seedance 1.5 pro 要让声画属于同一事件；
6. Seedance 2.0 要让多种参考绑定到可编辑对象和属性。

这是一条能力积累的真实历史，但不是单一检查点的传记，也不是从生成器到世界模型的自动升级。每一步都可由媒介统计在一定程度上完成：端点可用运动图式连接，镜头可用电影语法组织，声音可用同步相关对齐，编辑可用条件重绘实现。世界模型主张要求更强证据——同一潜在状态应支持不同观察，行动干预应产生可校准后果，未观察对象应在回访时持存。

公开性决定这些证据能做到哪一步。截至本章冻结时，上述论文与模型卡没有随文提供一套完整、可下载的 PixelDance、Seaweed-7B、Seedance 1.0、Seedance 1.5 pro 或 Seedance 2.0 权重；APT 与 AAPT 论文也不能仅凭公开文本视为对应基础视频模型权重开放。外部研究可依据报告、演示和平台接口检验可观察行为，但要注明版本不可见和服务可能更新。

这并不削弱其研究意义。恰恰因为能力边界迅速扩展，这条机构路线提供了一个清楚案例：观察生成如何逐步吸收时间、剪辑、声音、交互与编辑。模型越能调动这些媒介形式，我们越需要区分两种统一——作品层面的统一，使观众能顺利观看；世界层面的统一，使不同观察、行动和反事实来自同一可持续状态。

下一章将专门讨论前一种统一。多镜头和声音不是世界的透明窗口，它们经过取景、剪辑、混音与叙事安排。视频模型学习到的首先是被媒介化的经验；只有在识别这层中介之后，才可能判断其内部表示究竟保存了多少世界结构。

一条机构路线可以支持的结论

把七个项目连起来后，可以做出三种强度不同的历史判断。最弱也最可靠的判断是：同一机构连续投入视频生成，在端点控制、基础模型、多镜头、低延迟、音视频联合和多模态编辑上分别公开了成果。第二种判断是：这些成果共享部分团队、数据基础设施、后训练方法和产品需求，因此构成可辨认的研究谱系。第三种判断则声称某个单一模型持续继承参数和经验，逐版获得上述全部能力；目前公开材料不足以支持第三种说法。

这一区分会改变技术史的写法。谱系允许出现分叉、并行和回收：APT 可以服务多个基座，AAPT 可以探索不同生成结构，产品版本可以组合不同研究成果。它不要求每个名称都对应同一权重祖先。所谓“从 PixelDance 到 Seedance”，应读成问题和约束如何扩大，而非一个机器主体如何成长。

也应区分能力存在、能力可靠和能力可复现。模型卡中的成功样例说明某种输出存在；系统评测说明它在规定样本中具有某种可靠度；开放检查点与完整协议才允许外部复现。三者都可成为证据，但支撑的主张不同。精选样片可用于发现新能力，不能单独确定失败率；官方均分可用于描述报告结果，不能替代独立测试；API 可调用提高可评性，却仍受版本漂移影响。

因此，这条路线最有价值的结论不是“视频模型终于掌握世界”，而是：随着生成任务吸收更多时间、镜头、声音和参考条件，模型被迫承担越来越多可被诊断的关系。约束范围扩大，使世界模型问题更具体，也使错误更难藏在单帧质量中。它提供的是一组更严格的实验对象，而不是一个已经完成的哲学答案。

用反例审查“能力连续增长”

机构谱系还应接受三个反例。第一个反例是能力回退：新版本为降低延迟、支持更多输入或满足安全要求，可能在小物体、运动细节或特定语言上弱于旧版本。若只按发布时间排列，任何变化都会被写成进步。正确做法是固定测试集，在每个版本上重复相同任务，并允许某些维度下降。

第二个反例是模块替换：产品保持同一名称，底层却换了压缩器、主干、声音模块或提示路由。用户体验连续，不表示模型机制连续。一个版本的音画同步可能来自联合生成，另一个版本也可能由独立音频模块和后期对齐获得；输出相似，能力归属不同。没有架构或消融证据时，应把结论写在系统层，而非某个假定主干层。

第三个反例是任务重定义：从文本到视频转向多参考编辑后，指标和样本分布也改变。新模型在参考保持上更强，却未必在自由生成、高动态或长时物理上更强。把不同任务的官方排名接成一条曲线，会把评价口径变化误当模型能力增长。

因此，技术史需要“同题纵向”和“同代横向”两种比较。同题纵向问同一任务在版本间怎样变化；同代横向问该系统在同期替代方案中处于什么位置。前者需要版本冻结，后者需要统一协议。只有两种比较相互支持，才能较有把握地说某项能力真正提高。

这也解释为什么本章把“约束范围扩大”作为主线，而不宣称所有性能都单调上升。新增模态与接口确实扩大模型必须处理的问题集合；在这个更大集合里，质量、成本、速度和可靠性仍可能互相交换。世界复杂性进入系统，不意味着系统已经在每一处更懂世界。

成本与延迟也是能力边界

同一模型在离线高质量模式、低延迟模式和批量生成模式下，可能表现为三套不同系统。离线模式允许更多去噪、重排序和后处理，适合影视；实时模式减少采样步骤，更接近交互；批量模式可以一次生成大量候选，再由评分器筛选。比较时若只取各自最佳样片，会把不同计算预算下的能力混在一起。

因此，视频系统的能力记录应附单样本延迟、并发量、采样次数、是否重排和输出失败率。速度提高的价值很实在：它允许更宽的候选搜索和更频繁的人机反馈；代价也应实报，因为低延迟版本可能牺牲小物体、长时一致或音频细节。资源不是能力之外的商业参数，而是系统能在多大世界、多少分支和多快行动周期中实际工作的条件。

注释

---

第十一章　多镜头、声音与被媒介化的经验

一段对话先给出甲的脸，他望向画面右侧；镜头切换，乙的脸出现，望向画面左侧；再切回甲，他正说完上一句。两个镜头之间几乎没有相同像素：背景、尺度、照明和人物都变了。观看者却不会以为世界毁灭后重建，而会理解为同一房间里两个人交谈。

这种正反打揭示了视频经验的特殊结构。世界的连续不等于像素的连续，镜头的中断也不能直接推出事件的中断。身份、视线、对话顺序、空间方位和声音把不连续画面综合为同一情境。视频模型若能生成这种片段，说明它学到了超过相邻帧平滑的关系；但这些关系首先属于拍摄、剪辑和观看的媒介形式，不能直接等同世界自身结构。

第十章考察了 PixelDance—Seaweed—Seedance 路线怎样不断增加条件。本章向后退一步，追问这些模型究竟从什么材料学习。训练视频不是未经处理的现实切片。镜头选择何处可见，剪辑选择何时中断，麦克风和混音选择何者可听，字幕选择怎样命名，平台排序选择哪些片段被反复观看。进入数据中心之前，事件已经经历多层构造。

“被媒介化”不表示虚假。温度计读数经过仪器，仍能提供可靠信息；纪录片经过取景，仍能见证事件；电影的虚构也能准确展示身体、空间和社会习惯。问题在于，任何材料都以特定方式使世界可见，并让另一些内容退到画外。若把大量视频数据称作模型的“世界经验”，就必须同时说明这是怎样一种经验。

图11-1　多镜头与声音共享同一事件状态。不同镜头和音轨通过共同事件状态取得一致，剪辑规则再决定哪些中间过程可被省略；省略不等于事件约束消失。

一　切镜为什么不等于世界断裂

连续单镜头中，相邻帧通常很相似。人物向前走一步，轮廓只移动少量位置；摄影机轻微摇动，背景产生规则光流。模型可以利用局部相似预测下一帧。剪辑却突然破坏这些线索：一个全景之后接脸部特写，一个室内镜头之后接街道，一个白天之后甚至可以直接进入夜晚。

若视频生成只依赖相邻像素延续，切镜将近似灾难。实际上，人类观看与成熟视频模型都可借助更高层关系越过断点。前一镜头中的人、物、动作和问题，在后一镜头以另一种视角、尺度或时间位置重新出现。连续性的载体从像素值转为对象、事件与叙事关系。

至少应区分三种连续：

连续类型	主要依据	典型成功	典型失败
像素连续	相邻位置、纹理、光流	单镜头运动平滑	闪烁、跳变、局部变形
镜头连续	身份、方位、视线、动作衔接	切换景别仍属同一场景	人物或道具跨镜重置
叙事连续	目标、因果、时间与信息次序	不连续片段构成同一事件	结果先于原因、目标无故改变

三者可以分离。一个长镜头可能像素极其平滑，却让杯子在遮挡后换了颜色；它有像素连续，没有对象连续。一个多镜头广告可以让同一演员和商品稳定出现，却将早晨、办公室、海滩并置；它有身份连续，不要求同一物理时空。一个蒙太奇又可用火车、时钟和奔跑者三个不连续画面，表达“赶车”这一叙事关系。

正反打的统一依赖一组约定。视线方向让两个人看似相向，声音跨切点保持对话，布景和光照提供共同地点，台词的问答结构提供时间顺序。摄影未展示两人之间的全部空间，观看者仍建立一个足以理解行动的场景模型。这里有综合，却不能把剪辑直接叫作康德意义的综合；前者是历史形成的媒介语法，后者讨论经验对象得以统一的认识条件。

连续性剪辑还有更细规则。动作匹配让前一镜抬起的手在后一镜继续上升，视线匹配把注视者与所见物相接，轴线约定让人物在反打中保持相对方向，声音桥则在图像切换前后延续环境。规则不是自然律，导演可以有意打破；但在大量叙事视频里，它们充当观看推断的先验提示。模型学会规则，便能用少量画面制造完整空间的印象。

这些提示也可被拆开测试。保持同一画面，只反转乙的视线方向，原本的对话会变成两人看向同一侧。保持视线，却把背景环境声换成街道，地点统一开始动摇。保持声画，再让桌上杯子跨镜消失，对象连续失败。分因素实验能指出模型到底依赖像素、构图、声音还是语义，而不是用一个笼统“连贯性”分数覆盖全部机制。

镜头还可主动制造因果。先给一个人惊恐的脸，再给冲来的汽车，观看者倾向理解为他看见危险；若第二镜换成舞台，表情便可被理解为演出紧张。单个镜头没有改变，邻接关系改变了事件解释。蒙太奇理论很早便把这种冲突与组合视为电影意义生成的核心，而非现实的被动复写。⁹⁴

这对训练产生双重结果。好的一面是，模型可以从大量剪辑中学习跨视角身份、事件压缩和叙事组织；坏的一面是，它也会学到以相邻镜头暗示因果的捷径。两个画面常被剪在一起，可能因为真实因果，也可能因为类比、反差、广告说服或喜剧节奏。共现本身不告诉模型是哪一种。

因此，切镜后的“同一世界”需要分层判断。若任务是生成电影片段，保持人物、风格与叙事已经很有价值；若任务是预测机器人行动后果，就必须进一步要求空间和物理状态连续。媒介统一可以容许省略，世界预测不能把关键接触藏在省略中。

二　多镜头究竟要维持什么

Seedance 1.0 把原生多镜头和一致的主体表示列为能力，Movie Gen 则把视频生成、个性化和指令编辑放进一组媒体基础模型。前者突出镜头间叙事，后者还展示以用户图像生成个性化视频、按指令改变现有视频等任务。⁹⁵⁹⁶ 两者都说明，视频基础模型正从生成一个运动片段转向组织多个观察。

“维持同一人物”至少包含外观身份、角色身份与叙事身份。外观身份是脸、发型、服装和体型近似；角色身份是这个人仍承担“医生”“追赶者”或“说话者”的位置；叙事身份是先前承诺、知识和目标继续有效。模型可能把脸保持得很好，却让追赶者下一镜突然帮助逃跑者，外观统一而事件角色断裂。

道具要求类似。钥匙的形状可以跨镜一致，但更重要的是所有权和位置：上一镜仍握在甲手中，下一镜不应无动作出现在乙口袋；门若已打开，回到全景时不应关闭。多镜头生成需要一份隐含的状态账本，记录哪些变化已经发生、哪些对象被遮挡、哪些事实只有某个角色知道。

最后一项尤其容易忽略。叙事不只保存物理状态，还保存信息状态。甲看见钥匙被藏起，乙没有看见；后续乙若直接走向藏处，除非另有线索，便破坏了角色知识的连续。生成模型可以从常见剧情学到“下一步该找钥匙”，却跳过人物如何获知位置。世界的共同状态与每个角色可获得的观察需要分别记录。

空间连续尤其容易被电影语法遮蔽。全景建立人物与桌子的位置，近景裁掉参照物，反打又翻转画面方向。只要构图熟练，观看者可能忽略门从左墙移到右墙。测试时可要求镜头返回最初全景，或从新视角展示先前物体；一旦模型不能恢复布局，就说明它保存了镜头印象，而非持存场景。

动作衔接提供另一种检验。前一镜头中手伸向杯子，后一镜头应从相容姿势继续；若切点之后杯子已经举到嘴边，省略可以是合法的时间压缩，但事件顺序仍须可能。剪辑容许跳过中段，不容许一个对象在没有足够时间和路径时完成不可能移动。

多镜头还要决定“何时不同一”。回忆、梦境、想象、监控画面和屏幕内视频本来就可嵌套在当前叙事中。颜色、画幅或声音可能标记层级转换。若模型机械维持所有属性，反而无法生成换场、换装或时间跳跃；真正能力在于把应保持与应改变的属性分开。

时间省略也有自己的约束。镜头从关门切到人物抵达办公室，可以省掉通勤，却默认有一段未显示但可能的路径。从关门直接切到人物已在月球，若没有火箭、幻想或喜剧标记，就需要另一种解释。省略不是取消因果链，而是让观看者以背景知识补全。模型会生成省略，不表示它内部保存了被省略过程。

这说明一致性不是最大相似。一个角色在十年后应变老，在雨中衣服应变湿，转身后面部像素应显著变化；若一切都冻结，视频没有事件。较好的状态表示需区分身份属性、可变状态和关系状态，再由动作、时间和镜头解释变化。

可以用“回访”评测多镜头。让模型先建立房间，切到人物特写，再转向窗外，最后回到房间另一角；记录桌椅、门窗和道具是否仍可定位。也可让人物在画外放下物体，后来换镜检查其位置。这样的测试不奖励单镜头华丽，而检查多个观察能否由同一潜在状态解释。

不过，电影作品不总追求可重建空间。音乐视频、实验电影和广告会故意破坏连续剪辑；快速换景本身就是风格。若训练或评测把所有不连续判错，会把艺术语法误当物理缺陷。任务说明必须区分“媒介作品是否成立”和“世界模拟是否可靠”。

案例框 6　电影上合理，房间里不可能

情境：第一镜头中人物把手机留在卧室，第二镜头切到街道，人物边走边用同一手机通话。剪辑流畅，观众很可能忽略矛盾。

检验：建立镜头状态账本，记录手机位置、人物携带物、时间跨度和镜头间可能发生但未展示的动作；再要求模型生成固定机位版本，补出所有中间过程。

可能结果：模型可能在镜头间默认发生了“取手机”动作，却没有足够时间返回卧室；固定机位转换会迫使矛盾显现，或让手机无原因出现在手中。

判断：媒介允许省略，但省略仍受可能事件约束。跨媒介重述是检验模型是否只掌握剪辑惯例，还是保存了剪辑背后的共同事件。

这个例子说明，跨镜头一致性必须允许合理省略，又不能容许不可能的状态跳变。声音加入后，约束还会进一步增加。

三　声音怎样增加共同事件

画面切换时，声音常承担连续的桥。镜头从说话者切到听者，台词仍延续；摄像机离开钢琴，音乐让画外乐器继续存在；先听见救护车，再看见它驶入画面，声音为尚未呈现的对象建立期待。听觉不是装饰，而是把可见与不可见组织成共同事件。

Movie Gen 报告的视频到音频模型可为最长四十五秒视频生成同步声音，任务包含音效、环境声和器乐；Seedance 1.5 pro 则采用双分支扩散 Transformer 与跨模态联合模块，直接联合生成画面和声音。⁹⁶⁹⁷ 一种路线以视频为条件补音，一种路线强调原生联合生成；两者都把时间对齐纳入模型目标。

声画同步至少有五个尺度。毫秒到几十毫秒关系影响敲击、爆裂和唇音；几百毫秒关系影响脚步、手势和转头；数秒关系决定一句话与镜头动作；更长关系维持背景音乐、环境和场景。指标若只比较粗粒度语义，可能漏掉接触时刻；只看短时同步，又会漏掉声音身份和场景变化。

多人场景把问题从同步推进到归属。两个人轮流说话时，模型要把音色、台词和嘴形绑定到正确人物；镜头切到听者时，说话者可以在画外继续，听者的嘴不应随语音同步。仅用全局音频—视频相似度评测，可能把“有人在说话”判对，却看不出声源交换。需要逐角色标注发声区间、空间方向与声纹延续。

声音还提供共同原因的证据。一只球撞上金属板，画面出现形变，音轨出现撞击声；二者可由同一碰撞解释。可是联合模型也可能只学到统计配对：看到金属便生成金属声，看到嘴动便生成语音。若声音在接触前出现、距离改变时音量不变、不同材料仍同一音色，同步就没有达到因果一致。

画外声特别重要。不可见对象仍可发声，表示世界超出当前画框。模型若在物体离开画面后立即停止声音，便把存在等同可见；若声音继续，却在镜头转回时找不到声源，则只保持音轨模式。较强测试应让摄影机循声转向、改变遮挡或距离，并检查声源位置和音响变化。

混音使问题更复杂。电影对白可以后期配录，环境声可以来自音效库，背景音乐可能不属于故事空间。观看者能区分人物听得见的“场内声”和只为观众存在的配乐，生成模型却未必有显式层级。若悲伤音乐随人物出现，模型可能把情绪配乐误当房间里的声音。

一个可操作诊断是反事实混音。保持画面不变，分别要求纪录片式现场声、静音、夸张喜剧音效和非场内配乐；再保持声音事件不变，改变声源距离、房间大小或遮挡材料。若模型能把叙事配乐与物理声学分开，说明它至少形成了模态角色的差异；若所有条件只改变情绪色彩，便仍停留在风格联想。

因此，“原生音视频”不等于共同原因模型。它表示两种模态在生成过程中联合协调，而不是分别制作后简单拼合。这确实提高一致性上限；共同事件是否建立，还需检验源、空间、材料和干预。把视频中的鼓换成海绵，撞击声是否相应改变，是比主观“很同步”更强的测试。

声音也改变多镜头叙事。提前出现的声音可引出下一场景，跨切点延续的声音可把两个地点联系起来，突然静音可标记主观体验。模型若掌握这些手法，说明它学到媒体制作中的时间图式。它们能服务世界表达，却仍是对经验的组织方式，不是经验对象本身。

四　数据为什么不是现实本身

一段训练视频在成为样本前，至少经过五道选择。摄像机选择视点、镜头和曝光。录音设备选择频率与空间。制作者选择拍摄何事、保留哪段和怎样剪辑。平台通过格式、审核和推荐决定何者传播。数据管线再去重、过滤、切镜、重采样并生成字幕。模型接触的是这条链的末端。

摄像条件改变可见世界。广角镜头夸大近处运动，长焦压缩纵深；低帧率让快速动作模糊或跳跃，稳定器让摄像机运动更平滑；自动曝光会在明暗转换时改变整体亮度。模型从像素学习运动时，也会同时学习镜头几何、传感器和编码伪影。

剪辑改变事件分布。失败、等待和重复劳动常被删除，关键结果被保留；教程把长过程压成几个步骤，体育集锦集中高强度瞬间，短视频把开头设计成快速吸引注意。于是数据中的“动作之后立即成功”有时是剪辑结果，不是现实动力学。

字幕和提示又加一层语言组织。自动字幕器会说“一个人修理自行车”，却可能漏掉先松螺母还是先拆链条；也可能把推测当观察，例如写成“他很生气”。模型学习文本—视频对应时，继承命名体系、抽象粒度和误判。未被语言标出的状态变化，在条件训练中获得的监督更弱。

平台筛选产生可见性偏差。清晰、惊奇、可快速理解的片段更容易传播，普通的长时日常和失败过程较少出现；安全与版权过滤又移除某些内容。这些选择不一定错误，甚至是模型训练必需的治理措施，但会决定模型熟悉哪类世界。

推荐又形成反馈回路。某类镜头语言得到较高点击，创作者便更多使用；平台积累更多同类视频，下一代模型再把这种形式学得更强；生成工具反过来降低该形式的制作成本。最终看似“自然”的视频节奏，可能是平台指标、创作习惯和生成模型共同放大的结果，而不是人类经验的稳定常数。

压缩格式也有认识论后果。视频编码器常优先保存人眼显著区域，把细微纹理和快速变化近似掉；多次转码会产生块状、拖影和颜色带。训练模型可能把编码伪影学成运动线索，或在小物体真实消失与压缩丢失之间混淆。来源相同而编码路径不同，便会形成不同的“可见事实”。

技术管线也会制造目标。若质量筛选器奖励高分辨率与审美，训练集会偏向稳定构图。若运动筛选器排除静态片段，模型可能夸大动作。若切镜检测错误，一个连续镜头会被拆开，或两个镜头被当作同一片段。所谓“大规模现实数据”总是某套测量和筛选标准的产物。

最强反对意见是：并非所有视频都经过电影式构造。监控录像、车载相机、实验视频和机器人第一视角往往长时间连续，剪辑较少，也能提供接触、导航和行动后果。这个反对是对的，所以“被媒介化”应当作为程度变量，而非绝对否定。

连续传感视频减少剪辑，却仍有视点、帧率、传感器、任务和采样选择。机器人摄像机附着于特定身体，高度和可达范围限制观察；监控相机固定在治理所需位置；实验视频由变量设计决定。它们通常比电影更适合动力学学习，也不是无视角的“现实本身”。

解决办法不是寻找完全无媒介的数据，而是记录数据谱系，并让多种媒介互补。电影和短视频提供文化场景与叙事，连续传感提供动力学，三维扫描提供几何，机器人轨迹提供行动与后果，声音阵列提供空间听觉。模型能否把它们对齐到共同状态，才是关键。

数据说明至少应记录来源类型、拍摄方式、剪辑密度、帧率、音轨处理、字幕生成、过滤器和授权条件。评测则按这些变量分层抽样。若模型只在高剪辑短视频上表现好，就不应把结论外推到连续控制；若在固定相机实验上学到动力学，也不能据此宣称掌握开放叙事。媒介化变量被记录后，偏差才从抽象警告变成可测条件。

五　卡西尔：符号形式不是遮住世界的幕布

卡西尔的符号形式哲学提供了比“数据失真”更精确的语言。对他而言，语言、神话、艺术和科学不是在一个已经完整给定的世界外面贴标签；它们以各自关系方式组织对象、空间、时间和意义。第三卷讨论表示、物与属性、空间和时间时，关注的正是认识如何通过形式获得客观结构。⁹⁸

把这个观点用于视频，不能说卡西尔预见了生成模型，也不能把剪辑直接当作一种完整的符号形式。较谨慎的应用是：影像技术和媒介语法参与构造“什么算一个可见事件”。特写把脸变成情感对象，慢动作把瞬间展开为可分析过程，地图式航拍把城市组织为空间图式，蒙太奇把分离画面组织成对比或因果暗示。

符号形式并不能据此视为虚假。科学公式高度抽象，却能揭示日常观看看不出的关系；电影剪辑不保持连续视野，却能准确表达同时发生、回忆或社会冲突。中介既选择也生成认识可能性。批判任务不是剥掉一切形式，而是识别形式的规则与边界。

视频模型从数据中学习的也不仅是对象外观。它学习特写常跟随情绪高潮，航拍常建立地点，问句后常切听者，撞击声常配快速切镜。这样的模型可以成为强大的媒介生成器，因为它掌握了表达世界的习惯。若据此称为世界模型，就会把表达规则与对象规则混在一起。

还可以区分“表示某物”与“以某种形式表示”。画面中的杯子是表示内容，近景、浅景深和暖色是表示方式；两者在训练数据中经常纠缠。一个系统若只要看见暖色近景就预测亲密情绪，说明形式已替代对象关系。能够在不同形式中识别同一事件，又能按要求改变表达方式，是更强的分解能力。

区分两者可借助形式变换。同一现实事件可由固定监控、手持手机、电影多机位和文字说明记录。若模型的状态表示抓住事件结构，它应能跨形式识别对象、顺序和后果；若表示主要抓住风格，换摄像方式便会改变判断。跨媒介不变性因而是一项重要评测。

卡西尔还提醒，客观性不是没有形式，而是关系能够被稳定组织和共同检验。一张地图不是城市的复制，却因比例、坐标和符号约定而可供多人定位。类似地，一个视频世界模型不必复制全部像素；它需要保留对行动和查询有后果的关系，并说明哪些观察变换不改变状态。

六　模型究竟学习了哪个世界

胡塞尔在《欧洲科学的危机》中讨论生活世界与科学客观化：几何化、测量和理想化并非凭空出现，它们植根于先行的经验世界，却可能让人忘记自身的意义基础。⁹⁹ 对视频模型而言，像素、帧率、字幕、向量表示和损失函数同样是客观化手段。它们使海量经验可计算，也把经验切成特定单位。

这里不宜把生活世界浪漫化成纯粹、无媒介的直接现实。人的日常经验本来就受身体、语言、工具和文化塑造。胡塞尔的启发在于追问抽象的来源与回返：模型指标中的“运动”“一致性”“质量”，最后对应怎样的观看、行动和共同验证？若指标与生活实践脱节，技术对象可能只在自身基准中循环。

视频模型至少同时学习四个“世界”。第一是物理世界的视觉规律，如重力、遮挡和身体运动。第二是摄像世界的投影规律，如景深、快门和镜头移动。第三是叙事世界的剪辑与声音规则。第四是平台世界的审美、时长和可见性偏好。一次生成常把四者无缝混合。

四层之间可以互相补偿。车辆轨迹略显不合理，快速摇镜和运动模糊会遮住误差；角色动机突然变化，配乐和反应镜头可制造情绪合理性；场景几何不稳定，浅景深使背景无法核验。作品因此仍然成立，世界状态却可能已经破裂。越成熟的媒介能力，越需要专门设计反遮蔽评测。

这种混合既是能力来源，也是误判来源。模型能生成电影感追车，因为它同时学到车辆运动、镜头摇移、快速剪辑和引擎音效。若用它预测真实车辆制动距离，电影中的夸张运动和剪辑省略便会污染后果。任务越接近创作，媒介知识越重要；任务越接近规划，状态与动力学证据越必须独立建立。

评测因此应设置媒介对照。让同一事件以单镜头、多镜头、静音、不同帧率和不同视角呈现，检查对象与因果判断是否稳定。再固定场景状态，改变配乐、剪辑节奏和色调，检查模型是否错误改变物理预测。能抵抗不相关媒介变化，才说明表示抓住了较深结构。

还应保留媒介任务自己的尺度。生成作品可按镜头语言、声音设计和叙事连贯评估；世界预测可按几何、对象持存、行动后果和校准评估。两个分数都值得报告，不应让一个替代另一个。电影上精彩的跳切不是物理错误，规划中的状态跳变却可能导致真实损失。

一个完整报告可以使用双轴矩阵。横轴列单镜头、多镜头、音视频和交互条件，纵轴列媒介质量与世界一致性；每格再注明数据类型和版本。这样既不会因为物理测试苛刻而抹杀创作进步，也不会因为样片动人而放弃状态核验。能力获得了恰当名称，跨领域争论才不必围绕“到底算不算”反复循环。

本章的结论不是“视频数据不可信”，而是“视频数据有形式”。镜头中断像素却能维持事件，声音越出画框却能维持对象，字幕抽象细节却能组织任务。模型学会这些形式，说明它能处理被组织的经验；要进一步成为世界模型，还须把多种呈现还原到可持续、可干预、可验证的状态关系。

这也为下一章划定边界。内部模拟不能只是把媒介作品藏进潜在空间，再更快地播放出来。潜在状态若要支持规划，必须区分摄像机变化与世界变化，区分剪辑邻接与因果后果，区分配音同步与共同原因。只有这样，“想象未来”才可能从生成可看视频转向预测行动将使世界怎样改变。

一个可复用的多镜头—音频压力测试

可以设计一段不依赖复杂特效的最小测试。人物走进厨房，把金属勺放进左侧抽屉，关上抽屉后走出画面。镜头切到走廊，人物与另一人交谈。随后镜头回到厨房，另一人从右侧柜门取出同一把勺，同时传来抽屉滑轨声。这个短片同时制造对象、空间、知识与声源四类承诺。

评测不问“像不像电影”，而逐项核对：勺子是否在无动作时从左侧抽屉移动到右柜。第二个人是否有机会知道勺子位置。抽屉声是否来自实际打开的部件。回到厨房时台面与门的方位是否保持。模型可能在叙事上非常顺畅，却在四项中同时失败。

再做成对变体：保持画面脚本不变，只把勺子改成玻璃杯，声音应随材料改变。保持物体不变，只把抽屉设为软关闭，滑轨声和人物反应应改变。保持事件不变，只交换镜头顺序，角色知识不能倒流。成对测试比孤立提示更能区分条件遵循与共同状态。

这类测试还提醒我们，媒介化不是缺陷。切镜、配乐和画外音可以合法省略连续空间，只要作品给出足够线索让观众建立一致事件。模型需要学会的不是永远维持纪录片式连续，而是在所采用的媒介规则下保存哪些承诺、允许哪些省略。

媒介分布变化会怎样暴露模型

一个模型在电影式视频中学得很好，换到固定监控或机器人第一视角时可能突然失去“叙事常识”。电影允许通过切镜跳过拿取过程，监控则要求物体在连续视野中移动；电影音效可以先于画面制造预期，机器人传感器中的撞击声通常应与接触同步。媒介规范改变后，同一种统计捷径会从合理变成错误。

可以利用这种变化做诊断。把同一事件分别写成单镜头监控、多镜头剧情、第一人称操作和无画面音频四种版本，检查模型是否维持共同状态，同时遵守各自媒介规则。若模型只在剧情版成功，可能主要掌握剪辑语法；若单镜头和第一人称也稳定，才更支持对象与动作持存。

跨媒介转换更严格。给一段多镜头短片，要求生成同一事件的固定机位版本；被剪辑省略的动作必须补全，镜头间矛盾不能继续隐藏。反向把固定机位视频改成多镜头，系统可以省略部分连续过程，却必须保留已经发生的状态。转换任务迫使模型区分事件与表达方式。

声音也可跨媒介测试。把后期配乐、旁白和环境声分轨，要求只保留场景内声源；或给无声视频生成符合材料、距离和遮挡的声音。模型若主要学到类型片音效，会给所有金属动作同一种夸张声；若表示了声源条件，声音应随场景变量变化。

媒介化因此不是“数据离真实越来越远”的单向评价，而是多个观察制度。模型在其中学会何种省略、突出和连续规则；跨制度测试则帮助我们分离它掌握的是表达惯例，还是在不同表达下仍持续的事件结构。

注释

第四部（上）：世界模型路线

第十二章至第十三章：内部模拟、潜在动力学与JEPA

第十二章　内部模拟：从潜在动力学到规划

一辆虚拟赛车驶近弯道。智能体有三种选择：继续加速、轻踩刹车、向左转向。若为每个选择生成一段高清第一视角视频，再判断是否冲出赛道，计算会花在车漆反光、路旁树叶和云层细节上。控制真正需要的也许只是车速、朝向、弯道曲率、轮胎是否接地，以及每个动作带来的奖励。

内部模拟的核心直觉由此出现：未来不必先被渲染成可观看视频，才能参与行动选择。系统可以把当前观察压成潜在状态，在这个较小空间中施加候选动作、展开若干步、估计奖励或价值，然后只执行一个动作。新的真实观察到来后，再更新状态并重新规划。

这条路线与视频生成相邻，却有不同输出合同。视频模型面向观看者，要恢复大量感知细节；控制世界模型面向策略，只需保存影响决策的差异。前者可能画出逼真车道却没有动作接口，后者可能完全不能还原像素，却能稳定过弯。世界的“有用表示”可以远比世界的可观看复制更小。

2018 年的 World Models、同年的 PlaNet、2019 年的 Dreamer 与 2020 年发表的 MuZero 给出四个关键步骤：先把视觉、动力学和控制拆开。再直接在潜在空间在线搜索。继而用潜在轨迹训练策略。最后甚至放弃重建观察，只学习搜索需要的奖励、策略和价值。本章沿这条谱系解释内部模拟怎样工作，也解释它为什么容易产生可被策略利用的偏差。

图12-1　潜在动力学到规划的路线。World Models、PlaNet、Dreamer 与 MuZero 对内部状态的用途不同：环境内训练、在线搜索、想象中学习策略和只保留搜索所需量。

一　内部模拟为什么不必可观看

控制问题通常包含观察、状态、动作和奖励。观察是传感器此刻给出的像素或读数；状态是足以支持后续预测的内部摘要；动作改变环境；奖励或目标说明哪些后果更好。若环境只能被部分观察，单帧像素并不足够，状态还需汇总此前信息。

例如，一只球暂时滚到遮挡板后，当前画面看不见它；过去速度和方向却影响它何时再出现。一个循环状态可以把先前观察与动作累积起来，保存球的可能位置。状态不是隐藏在画面里的某个小图，而是一组对预测有用的变量或向量。

在完全可观察环境中，当前状态原则上可从此刻读出；在部分可观察环境中，系统维护的更像“信念状态”——对可能真实状态的分布。相同画面可能对应不同历史：门看起来关闭，但可能上锁或未上锁；机器人摄像机看到同一走廊，却可能朝东或朝西。过去动作和观察用于消除这种歧义。

潜在动力学可写成一个简化关系：编码器由观察得到状态 $z_t$，转移模型依据状态与动作得到下一状态分布 $p(z_{t+1}\mid z_t,a_t)$，奖励模型估计 $r_t$，策略或规划器再比较动作。只有需要训练观察模型或供人检查时，才从 $z_t$ 解码像素。

压缩带来巨大节省。一帧图像可能有数十万像素，潜在状态只有数百维；在一百条候选动作序列上展开二十步，直接生成两千段高分辨率观察成本很高，潜在向量递推则便宜得多。控制器可以把更多计算用于比较行动，而非复原纹理。

规划还不必保留一条唯一未来。随机动力学可以对同一动作采样多个结果，估计期望回报、最坏风险或成功概率。球可能向左或向右弹，行人可能停下或继续；选择行动时重要的不是把每条未来画清楚，而是让分支概率与后果足以比较。潜在模拟因此既是压缩，也是对不确定性的计算组织。

省略像素并非偷懒，而是任务选择。赛车控制无需记住远处广告牌的全部文字，抓取机器人却需要保存夹爪与物体边缘。导航可忽略杯子花纹，若任务是取走指定花纹的杯子，该属性立刻变得重要。所谓充分状态总是相对于动作、目标和未来查询。

这也说明潜在状态不是哲学意义上的世界本身。它可能把两个外观不同但控制后果相同的情形合并，也可能因训练目标忽略后来突然有用的属性。良好压缩要保留“会改变决策”的差异，但系统事先未必知道未来全部任务。

• World Models：内部状态主要服务什么：生成内部环境、给控制器特征；是否要求重建观察：训练中有视觉解码器；行动怎样选择：在模型环境中优化控制器。
• PlaNet：内部状态主要服务什么：多步奖励预测与在线规划；是否要求重建观察：用观察模型训练状态；行动怎样选择：每个真实时间步搜索动作序列。
• Dreamer：内部状态主要服务什么：用潜在轨迹训练策略和价值；是否要求重建观察：世界模型训练时通常重建观察；行动怎样选择：部署时策略直接给动作。
• MuZero：内部状态主要服务什么：树搜索所需的奖励、策略、价值；是否要求重建观察：不以观察重建为目标；行动怎样选择：用学习模型进行树搜索。

“内部模拟”也不能直接推出心像。人类心像涉及意识经验、意向性和身体背景；机器学习中的模拟只表示模型按转移规则展开内部变量。论文常用 dream、imagination 等词，是为了说明计算没有在真实环境中发生，不应据此推断系统具有体验。

这种用法还需与传统软件模拟器区分。物理引擎由程序员写出碰撞、关节和积分规则，学习世界模型则从交互数据估计转移；前者规则透明但建模成本高，后者可吸收复杂观察却会带统计偏差。二者也可混合，例如已知机械约束配合学习残差。所谓“内部”只说明规划器调用模型，不说明规则来自何处。

二　World Models：视觉、记忆与控制器

David Ha 与 Jürgen Schmidhuber 的《World Models》用三个模块给出清楚范型：视觉模型 V 把高维图像压进潜在编码，记忆模型 M 预测潜在序列的未来分布，控制器 C 根据潜在编码和记忆状态选择动作。¹⁰⁰ 三者可分开训练，使控制器面对的不是原始像素，而是已经压缩的时空特征。

视觉模块采用变分自动编码器。编码器把每帧变成连续潜变量，解码器尝试重建画面；训练迫使潜在空间既压缩又保留常见视觉差异。它并不识别“车”“路”“墙”的显式符号，而是在数据和重建目标下形成可用坐标。

记忆模块采用带混合密度输出的循环网络。给定此前潜变量与动作，它不只预测一个确定的下一点，而是输出可能未来的分布参数。环境含随机性、部分可观察性或编码不确定性时，单一均值会把多种未来混成模糊状态；分布预测允许不同分支。

控制器反而很小。它读取当前视觉潜变量和记忆隐藏状态，输出动作。复杂性被移到表示与动力学，策略本身可以用较少参数优化。这种模块化具有解释力：模型负责“如果这样做会怎样”，控制器负责“应选择什么”。实际训练仍会互相影响，因为控制器只利用模型留下的信息。

训练顺序也体现这种分工。系统先收集随机或探索轨迹，视觉模型学习压缩，记忆模型学习潜变量与动作序列，之后才在固定世界模型上优化控制器。控制器不反向改变模型时，实验能更清楚检验“所学环境是否足以训练行为”；代价是后期策略进入新状态后，模型无法自动补课，必须重新收集与训练。

论文最引人注目的演示，是在模型产生的内部环境中训练控制器，再把策略转回原环境。尤其在 VizDoom 的任务中，控制器可以主要面对记忆模型生成的“梦境”轨迹，学习躲避危险；真实环境只在收集模型数据和最终测试时出现。这个结果表明，生成式环境不仅能展示未来，也能成为策略训练场。

梦境环境可以调节采样温度。温度低，模型倾向常见、平滑未来，控制器可能只见到容易情形；温度高，未来更随机，缺陷和危险增多。适当随机化可让策略更稳健，也可能制造不现实噪声。模型不是被动镜子，它决定训练中哪些困难存在。

可观看解码在这项工作里仍有诊断价值。研究者能播放记忆模型生成的轨迹，观察道路、敌人和运动是否大致合理；控制器却读取潜变量与隐藏状态，不必观看这些帧。人类可视化与机器决策由此分开：解码器帮助我们审计，潜在动力学负责高效计算。

同一特性也产生“模型漏洞”。若内部环境没有准确模拟火球，控制器可能学会停在真实环境会受伤、模型环境却安全的位置。若记忆模型在某些动作下崩溃，策略甚至可以主动走向模型失真区域。优化器不会尊重设计者的意图，只寻找高预测奖励路径。

因此，World Models 的历史贡献不是证明机器内部拥有完整世界，而是建立一套可操作分工：压缩观察、学习转移、在模型中训练行动。它把“生成”与“控制”连接起来，也第一次清楚展示一个世界模型可以用任务得分而非影片质量检验。

三　PlaNet：每一步都在潜在空间规划

PlaNet——Deep Planning Network——进一步把潜在动力学与在线规划结合。系统只接收像素观察，通过与环境互动学习动力学，并在每个时间步用潜在模型搜索未来动作序列。¹⁰¹ 与先在梦境中得到固定控制器不同，PlaNet 会在行动前临时比较多种方案。

它的核心是循环状态空间模型 RSSM，把确定性循环状态与随机潜在状态结合。确定部分汇总长期历史，随机部分表达当前不能完全确定的变化。当前观察到来时，推断模型修正潜在状态；预测未来时，没有未来观察可用，只能依据状态和候选动作展开先验动力学。

为什么需要两部分？只有确定状态，模型可能把多种可能未来压成一个平均；只有独立随机状态，长程信息又难维持。二者配合，可让系统既记得此前发生了什么，也对未观察变化保留分布。PlaNet 还用多步潜在目标约束动力学，使状态不仅能重建下一帧，也要在较长展开上保持可预测。

在线规划可用交叉熵方法直观理解。系统先从一组动作序列分布采样许多候选，在潜在模型中展开每条序列，累加预测奖励；保留得分较高的一部分，用它们更新动作分布，再重复若干轮。最终只执行第一步动作，余下计划并不直接照搬。

设机械臂要把杯子推到目标区。候选序列包含不同方向和力度，模型预测杯子与夹爪的潜在状态，并由奖励头估计距离是否缩小。第一轮候选很分散，优秀序列集中在向右前方轻推；下一轮便围绕该区域采样。全过程无需为每条序列绘制杯子纹理，只需状态能区分接触、位置和目标距离。

只执行第一步极为关键。真实环境给出新观察后，系统重新推断当前状态、重新搜索。这叫滚动时域或闭环规划。模型预测若有小误差，新观察可以在下一步纠正；若一次制定长计划后不再观察，偏差会不断累积。

规划过程不必把每条候选轨迹解码为视频。奖励头可以直接从潜在状态预测未来回报，规划器据此排序。观察解码器主要在训练时帮助表示保留信息，也可用于诊断模型；决策的内循环发生在向量状态中。这正是读懂“在不渲染视频的条件下评估候选行动”的关键。

PlaNet 在连续控制、接触动力学、部分可观察和稀疏奖励任务上展示数据效率，但任务仍来自有限基准域。¹⁰¹ 潜在状态足以控制模拟机械体，不代表它保存开放现实中的语言、社会规则或罕见危险。在线规划能力强弱必须相对于训练分布和动作空间陈述。

观察重建与奖励预测之间也有张力。重建损失偏爱占据大量像素的背景，奖励却可能由一个小按钮或短暂接触决定；若两者权重不当，潜在状态会画得准而控得差，或控得好却无法复原细节。PlaNet 的设计把多步奖励预测放在核心位置，说明规划模型的准确性应按任务后果衡量。

它的计算负担也不可忽略。每个真实时间步都采样、展开并筛选许多动作序列；模型虽比像素生成便宜，规划仍可能来不及用于高频机器人控制。搜索视野增加，候选数和误差都会上升。这为 Dreamer 的策略摊销提供动机。

四　Dreamer：把反复规划变成策略学习

Dreamer 保留潜在世界模型，却改变从模型取得行为的方式。它不主要在部署时为每一步重新执行大规模动作搜索，而是在学习阶段从真实数据推断潜在状态，再从这些状态出发，在模型中展开大量潜在轨迹，用轨迹训练行动者与价值函数。¹⁰²

行动者给定状态直接输出动作，价值函数估计从该状态继续行动的预期回报。模型在潜在空间预测后续状态、奖励和持续信号，价值估计再把有限展开后的长程收益补上。通过这些内部轨迹，策略获得“何种动作趋向高回报”的压缩经验。

行动者—评论家结构把两种估计结合。评论家学习某状态在当前策略下的长期价值，行动者调整动作以提高预测价值；模型则提供可微的未来状态与奖励。第一代 Dreamer 可让价值梯度沿潜在轨迹反向传播，因而不必把每个动作候选当作黑箱反复搜索。效率来自模型、价值和策略三者的共同近似。

这是一种摊销计算。PlaNet 每到一个状态都现场搜索，Dreamer 把许多搜索式比较的结果吸收进策略参数；部署时一次策略前向即可给动作。代价是灵活性下降：目标或环境突然变化，固定策略未必像在线规划那样立即重排候选，需要继续学习或加入新的条件。

类比路线规划：PlaNet 像每到路口重新计算多条路线，Dreamer 像经过大量路线计算后形成熟练驾驶策略。前者计算重但能适应临时目标，后者反应快却可能沿用旧习惯。两者都使用模型，只是把规划成本放在不同时间。

论文把模型生成的潜在轨迹称作 latent imagination，本书译作“潜在想象”，并始终保留工程限定。它不是康德的生产性想象力：后者讨论直观杂多如何按规则被综合以及经验对象如何可能；Dreamer 的术语指神经网络在没有新真实观察时递推状态并训练策略。

第一代 Dreamer 在二十项视觉控制任务上报告了数据效率、计算时间和最终性能优势。¹⁰² 后续 DreamerV3 用归一化、平衡和变换等稳健化技术，以一套配置处理超过一百五十项任务，并报告从像素和稀疏奖励出发在 Minecraft 中收集钻石。¹⁰³ 这显示同一算法骨架可以跨离散与连续控制、不同奖励尺度和观察域工作。

“超过一百五十项”仍不足以说明开放世界通用性。许多任务有清楚动作空间、可获得奖励和可重复试验；Minecraft 钻石任务更复杂，却仍在固定游戏规则中。统一超参数减少人工调节，是算法稳健性的强证据，不是系统已形成无限可迁移世界知识的证据。

Dreamer 的优势也取决于模型能否覆盖策略将去的地方。策略更新后会访问训练数据较少的状态，潜在动力学在这些位置可能错误；策略又按模型奖励继续优化，于是分布偏移被放大。世界模型、策略和数据收集必须交替进行，让真实经验不断追上策略。

从压缩角度看，Dreamer 给“世界容量越大越好”提出反例。一个相当小、选择性强的潜在状态，只要保留任务后果，就能支持复杂控制；若重建每个像素，反而浪费样本和计算。世界容量的价值不只在包含多少细节，还在能否以低成本保存对行动有用的结构。

五　MuZero：只学习搜索需要的量

MuZero 把任务相关性推得更远。围棋、国际象棋和将棋有明确规则，传统搜索可调用精确模拟器；Atari 则从屏幕与动作交互中学习。MuZero 不预先获得环境动力学，而是学习一个可迭代模型，为蒙特卡洛树搜索提供奖励、策略和价值。¹⁰⁴

算法包含三类函数。表示函数把观察历史映射到隐藏状态；动力学函数接收隐藏状态与动作，产生下一隐藏状态和预测奖励；预测函数从隐藏状态输出策略分布与价值。树搜索在这些隐藏状态上展开分支，综合即时奖励、叶节点价值和访问统计，再决定真实动作。

这里没有“把下一屏画出来”的训练要求。隐藏状态只要让搜索排序正确，就不必保留棋盘材质、背景声音，甚至不必以人可解释方式编码棋子。论文明确把目标写成与规划相关的三类量，而非环境全部观察。它在五十七款 Atari 游戏以及围棋、国际象棋和将棋上报告强结果。¹⁰⁴

MuZero 与 Dreamer 都有学习动力学，却不能混为同一算法。Dreamer 从学习的潜在动力学中采样轨迹，训练行动者和价值函数，部署时通常由策略直接行动。MuZero 在决策时仍运行树搜索，并让动力学、奖励、策略和价值围绕搜索联合训练。前者强调潜在轨迹上的策略学习，后者强调搜索所需量的迭代预测。

树中每个节点不是一张可检查棋盘，而是隐藏状态。搜索选择高潜力动作，动力学函数展开子节点，预测函数给出先验策略和价值，结果再沿树回传；访问次数最终形成改进后的行动分布。训练用真实轨迹中的奖励和搜索产生的策略、价值目标更新网络，使模型学会对搜索有用的抽象。

MuZero 也不是“已经学会游戏规则”的简单同义说法。它可以学到足以获胜的状态转移规律，却没有被要求产生可读规则表；模型在未搜索区域是否准确，也不是由胜率自动保证。若两个隐藏状态对当前搜索等价，系统可以把它们合并，即使人类认为局面有其他不同属性。

这种隐藏状态甚至可能没有长期一致的观察语义。一次内部转移后的状态主要接受奖励、策略和价值监督，只要树搜索得到正确排序，某个维度不必对应固定棋子或空间位置。它仍然是模型，因为动作会产生可迭代后果；但它是“为规划而建”的模型，而非“为重建而建”的模型。

这揭示任务充分性与世界丰富性的分离。棋手只为获胜规划时，棋盘木材和比赛地点无关；若任务改成机器人收拾棋子，材质、摩擦和三维位置立刻重要。同一表示对一项任务充分，对另一项任务可能失明。称其为世界模型时必须附上任务合同。

差异	PlaNet	Dreamer	MuZero
主要内部用途	在线动作序列优化	训练策略与价值	决策时树搜索
状态训练信号	观察、奖励与潜在动力学	观察、奖励、持续信号与策略学习	奖励、策略、价值
部署计算	每步连续动作搜索	策略前向为主	每步树搜索
显著风险	搜索成本与长视野误差	策略利用模型偏差	搜索相关状态不具观察语义

如果工程目标只是赢棋或控制，选择性并不是缺陷。相反，丢掉无关细节正是有效抽象。哲学问题出现在主张扩张时：从“模型足以支持这个目标”跳到“模型理解这个世界”，中间缺少跨任务、跨观察和反事实证据。

图12-2　开环展开与闭环校正。开环模型连续预测多个内部步骤；闭环控制只执行第一步，再用真实后果校正状态并重新规划。

四条路线究竟优化了什么

World Models、PlaNet、Dreamer 与 MuZero 常被放在一条时间线上，但真正决定其行为的不是年份，而是训练目标和模型被调用的时刻。四者都学习某种可迭代状态，却把“准确”定义在不同位置。

路线	模型训练主要受什么约束	决策时怎样使用	最容易出现的特有偏差
World Models	观察重建与潜在序列预测	控制器可在生成环境中训练	控制器适应梦境缺陷
PlaNet	多步观察、奖励与潜在一致	每个真实时间步在线搜索	搜索视野越长，偏差越累积
Dreamer	观察、奖励、持续信号与价值学习	在想象轨迹中训练策略	策略把模型误差变成高回报区域
MuZero	奖励、策略和价值目标	决策时树搜索	隐藏状态只对搜索等价，不保证观察语义

这张表说明，同样的预测误差在不同系统中后果不同。PlaNet 的误差可能使一条候选序列排序错误，但下一步观察会重新规划。Dreamer 的误差会被写入策略参数，之后在许多状态中重复。MuZero 的状态可以在人类看来难以解释，只要搜索次序仍正确。评价时若只比较重建损失，就会错过后两种系统的设计目标。

模型被调用的频率也不同。在线搜索把计算留在部署时，能够针对新目标临时改变计划。策略学习把许多比较摊销进参数，部署更快，却需要再训练才能充分适应目标变化。树搜索居于两者之间，以学习先验缩小搜索，同时保留决策时展开。所谓“内部模拟”不是一种算法，而是一组计算安排。

还有一个容易忽略的差别：模型是否接受真实观察校正。World Models 的固定梦境训练若长期不回到环境，策略可能离开数据支持区。PlaNet 天然每步重置。Dreamer 通常以新真实轨迹持续更新模型和策略。MuZero 的训练目标来自真实游戏轨迹与搜索结果。闭环并非只发生在部署控制，也发生在整个数据—模型—策略训练循环中。

因此，四条路线不能按“谁生成得更像”排列。应先问系统为哪种决策保留差异、在何时付出搜索成本、怎样接收真实反馈、错误会被哪一部分放大。只有回答这些问题，潜在状态的选择性才既可被理解，也可被批评。

六　模型偏差与闭环现实

任何学习动力学都会有误差。单步误差很小，反复展开仍可能累积：预测位置每步偏一点，二十步后物体穿墙；奖励每步高估一点，长轨迹就显得异常诱人。更严重的是误差并非随机平均，策略会主动寻找最有利的偏差。

设模型在训练分布内准确，但对边界动作略高估奖励。普通评测随机抽样，很少访问边界，平均误差看起来很低；优化器却会把动作推向那里，直到模型承诺不现实的高回报。这就是可利用性。世界模型作为被动预测器表现好，不等于作为策略优化器安全。

减少风险需要多道机制。不确定性估计可以降低陌生状态的置信度。模型集成可以暴露成员分歧。保守目标可惩罚分布外行动。短视野规划减少累积。真实环境的新观察则重置潜在状态。最重要的是闭环：预测—行动—观察—校正反复进行，而不是一次开环展开到底。

不确定性至少分两类。环境本身的随机性无法靠更多同类数据完全消除，例如另一个行动者的选择；模型知识不足则会随覆盖增加而降低，例如从未见过湿地面的摩擦。二者都可使未来分散，但决策含义不同：前者需要风险敏感策略，后者更需要探索、询问或拒绝外推。

DayDreamer 把这条原则带到物理机器人。当前论文第一作者是 Philipp Wu，而非修订前资料中误列的 Danijar Hafner。团队让 Dreamer 在四类真实机器人上直接在线学习，包括四足机器人翻身、站立和行走，两种机械臂抓放，以及轮式机器人视觉导航。¹⁰⁵ 真实观察持续进入，使模型错误能够被实际后果纠正。

“直接在现实中学习”也不消除风险。机器人动作有安全限制，试错成本不均，传感器会漂移，奖励设计可能遗漏损坏；论文覆盖四类实验，不代表开放环境部署。它的关键证据是潜在世界模型可在有限真实任务中提高数据效率，并适应扰动，而非机器人已取得通用现实理解。

2026 年 Yang Yu 等提出以决策为中心的世界模型评测立场，把证据从视觉合理性到策略优化效用组织为 L0—L7 阶梯，并强调行动保真、闭环展开、奖励与价值、策略排序、优化提升、可利用性和不确定性校准。¹⁰⁶ 这是一篇近期立场与综述，不是学界统一标准；其价值在于提醒主张必须与证据等级匹配。

对内部模拟而言，至少应报告五项：单步和多步状态误差。真实与模型中的奖励误差。候选策略排序是否一致。用模型优化后在现实中是否真的提升。策略是否找到了模型漏洞。只报告重建画面或平均预测损失，会漏掉模型作为决策工具时最危险的失败。

开环与闭环结果也应并列。开环测试从同一真实起点连续展开若干步，不给新观察，检验动力学自身能维持多久；闭环测试每一步接收真实观察，检验系统能否及时校正。一个模型可能开环五十步漂移，却因高频校正在控制中有效；若声称长程模拟，则仍不能用闭环成功掩盖开环不足。

最强反对意见很直接：只要控制成功，为什么还需要哲学意义上的“世界”？工程上确实未必需要。一个仓库机器人只要可靠取放，不必表示社会制度、天气或棋盘历史；选择性世界模型更便宜、更易验证。把“控制成功”当任务目标，本身完全正当。

本书坚持的只是主张边界。局部控制成功证明某套状态与转移对该任务有效，不证明表示拥有跨任务对象、因果共同性或开放反事实。工程充分性和世界性不是敌对尺度：前者回答“能否完成任务”，后者回答“哪些关系在目标变化、观察变化和新行动下仍保持”。

内部模拟的谱系最终给出一个重要结论：世界无需被完整观看，才能被有效使用。World Models 让控制器在生成环境中训练，PlaNet 在潜在状态中在线搜索，Dreamer 把模型轨迹摊销为策略，MuZero 只预测搜索量。每一步都更明确地把世界压成任务相关结构。

下一章将研究另一种选择性：JEPA 不以重建像素为核心，而预测抽象表示。它与 MuZero 一样质疑“复制观察才算建模”，却把重点从奖励与搜索移向表征空间的可预测结构。问题也随之改变：若模型只预测高层特征，哪些细节可以安全丢弃，哪些会在行动时重新成为后果？

决策效用的六步验收

模型作为预测器准确，并不自动作为规划器有用。一个较完整的验收过程至少包含六步。第一步测单步与多步预测，确认状态和奖励没有明显漂移。第二步做成对动作干预，检查模型能否区分同一初态下的替代行动。第三步比较模型中的策略排序与保留环境中的真实排序。第四步让优化器在模型里寻找高回报策略，再观察这些收益能否转移。第五步测不确定性是否在陌生状态、长视野和模型成员分歧处升高。第六步才测闭环任务成功和样本效率。

这六步不能用一个平均数替代。模型可能单步图像误差较大，却能正确排序策略；也可能重建精美，却把两条动作的奖励次序颠倒。对控制而言，后者更危险。决策中心的近期评测框架正是要求把视觉可信、干预、策略评价、规划和策略优化分层报告，而不是让画质承担全部证明。¹⁰⁶

“策略排序一致”尤其重要。假设有十条候选动作序列，模型不必精确预测每一帧，只要把现实中较好的序列排在较前。但若优化器能找到一条模型评分极高、现实必败的序列，模型就具有可利用漏洞。平均预测误差可能看不出这种尾部风险，因此必须让强优化器主动攻击模型。

闭环成功还需与基线比较。若没有模型的策略已经能完成九成任务，加入模型后提高一个百分点，说明的能力有限。若模型显著减少真实交互、提高陌生任务成功或降低危险试验，则提供更强效用证据。反过来，模拟内表现提高而真实环境不变，可能只是模型内过拟合。

最终报告应明确：模型服务的是状态估计、候选动作筛选、在线规划、策略训练还是数据生成。测试覆盖多长视野、什么动作集合、多少分布变化。失败时系统能否缩短视野、请求新观察或拒绝行动。这样的合同既允许选择性世界模型取得高评价，也防止局部任务成功被扩写成完整世界理解。

模型偏差的三种形态

“模型偏差”不能只理解为预测值与真实值之间的平均差。第一种是状态遗漏：潜在表示没有保存某个会影响后果的变量，例如表面湿滑、门是否上锁或夹爪是否真正接触。此时再强的转移模型也无法恢复已被合并的差异。

第二种是转移偏差：状态包含相关变量，模型却学错它们随动作怎样变化。小车速度和转向都可读，轮胎打滑的条件却错误；机械臂位置准确，软物体受力后的形变却被刚体近似。该类偏差通常随多步展开累积，且会在动作分布改变时放大。

第三种是目标偏差：模型预测的状态大致正确，但奖励、价值或特征距离没有对应真实任务。杯子到达目标附近，却侧倒漏水；图像与目标相似，夹爪并未夹紧。规划器会认真优化错误目标，结果可能比随机策略更稳定地失败。

三类偏差需要不同诊断。状态遗漏靠传感器、表示探针和干预对照发现；转移偏差靠动作条件滚动、长视野与分布外测试发现；目标偏差靠策略排序、真实任务结果和替代奖励比较发现。只提高模型规模，可能同时改善三者，也可能只让错误更平滑、更难察觉。

闭环校正同样有边界。新观察可以纠正位置漂移，却无法弥补已经执行的危险动作；若策略在模型里选择了穿过障碍的捷径，现实反馈来得太晚。因而，闭环不是允许模型先随意错误，而是把预测视野、动作幅度和安全边界限制在可恢复范围内。

案例框 7　模拟器里的捷径

情境：机器人要把盒子推到目标区。学习模型在靠近墙角时略微低估碰撞，策略优化器发现沿墙高速推进在模拟中得分最高。

检验：先测随机动作下的平均预测误差，再让强规划器专门优化回报；把所得策略放到保留物理环境和真实机器人中执行，并记录最早分歧。

可能结果：随机测试显示模型很准，优化策略却在现实中卡墙。错误区域在普通数据中占比很小，却被策略反复访问。

判断：世界模型的风险取决于它如何被使用。被动预测的低平均误差不能替代模型可利用性测试；优化器会把小而定向的偏差放大成稳定失败。

案例框说明，平均预测误差很低的模型仍可能被规划器利用。因而不确定性必须进入动作排序，而不是只留在评测附录。

不确定性要进入动作排序

许多模型能够输出多个未来，却没有把概率校准到可用程度。对规划而言，知道“有三种可能”还不够，还要知道它们大致多可能、哪些分支来自环境随机、哪些来自模型无知。若模型把陌生状态的分歧压成一个确定均值，规划器会把知识不足当作低风险。

可操作的做法包括模型集成、潜变量采样、分布外检测和保守价值下界。它们没有任何一种能单独保证安全，但可以让动作排序同时考虑预期收益和预测分歧。两条候选路径平均回报相同，经过熟悉区域的一条不确定性较低，系统就有理由优先选择；若高收益动作只在少数模型成员中成立，应触发真实试探或拒绝。

校准测试必须按行动分布进行。随机数据上的置信度良好，策略优化后的边界状态仍可能过度自信。应让规划器主动寻找高回报与高分歧区域，再检查真实误差是否随预测不确定性增加。只有这种面向使用的校准，才能进入闭环合同。

注释

---

第十三章　杨立昆：JEPA与非像素预测

一只玻璃杯从桌边落下。若要预测下一秒的每个像素，模型必须决定杯面反光怎样移动、背景纹理在运动模糊中呈现何种细节、碎片边缘落在哪些像素。许多细节既难预测，也与“杯子将撞地并破裂”这一后果无关。一个模型可能因为无法还原反光而得到高误差，却正确把握碰撞；另一个模型可能生成漂亮光泽，却让杯子穿过地面。

JEPA——联合嵌入预测架构——把这个矛盾放到学习目标中心。它不要求在像素空间生成目标，而让上下文与目标各自经过编码，再在表示空间预测两者是否相容或预测目标表示。不可预测的纹理可被编码器压低，稳定的对象、动作和场景关系则更容易成为预测对象。

这一思路与第十二章的 MuZero 形成呼应。MuZero 丢掉观察重建，保留树搜索所需的奖励、策略和价值；JEPA 丢掉像素重建，保留自监督预测所需的表示结构。两者都说明认识的工程目标不必是复制感官输入。差别在于，MuZero 的抽象由决策目标直接塑造，V-JEPA 首先从无动作视频学习通用视觉表示，直到 V-JEPA 2-AC 才明确接入机器人动作与规划。

本章以杨立昆 2022 年的自主机器智能研究议程为起点，依次讨论 V-JEPA、V-JEPA 2 与 DINO-WM。中心问题不是“抽象一定优于像素”，而是：舍弃哪些细节可以提高可预测性，舍弃哪些细节会毁掉行动后果？表示空间不会自动等于世界结构；它仍需由任务、干预和不确定性检验。

图13-1　像素预测与表示预测。像素路线保留可观看细节，表示路线压低部分不可预测细节；二者都必须通过动作或任务检验，才能知道保留和遗漏了什么。

一　为什么不预测全部像素

未来观察包含三类差异。第一类较稳定，例如刚体大致轨迹、遮挡次序、人物动作阶段。第二类受隐藏变量影响，例如球碰到不平地面后的方向、陌生人的下一步选择。第三类几乎是感知噪声或任意纹理，例如水面微小波纹、树叶位置和压缩噪点。逐像素预测把三类误差放进同一目标。

若模型使用均方误差预测多种可能未来，常见结果是平均化。球可能向左或向右，平均像素却得到一只模糊、居中的球；人物可能转身或停下，平均画面出现重影。生成模型可以通过随机潜变量或扩散采样避免单一均值，但仍需花大量容量生成并评估无关细节。

概率生成并非不能处理多未来。扩散模型可以采样左、右两条清晰路径，自回归模型也可为不同未来赋予概率。争点是资源和目标：为了学习“球仍在运动”，系统是否必须同时预测草叶、阴影与传感器噪声？若下游只需要碰撞风险，逐项生成可能让简单结构被高维外观损失淹没。

表示预测采取另一种办法。编码器把许多像素差异映到相近向量，只要这些差异对学习目标不重要；预测器只需命中目标编码器给出的表示，而非唯一像素。若杯子反光不同但对象、位置和运动相同，两个目标表示可以相近，损失便不惩罚不可控纹理。

这种不变性是收益，也是危险。编码器若对背景颜色不敏感，动作识别可能更稳健；若机器人任务要求拿红杯而非蓝杯，颜色正是目标变量。编码器若忽略细小纹理，可减少噪声；若纹理是裂纹、湿滑水膜或接触标记，忽略就会改变物理后果。

所以，表示的“抽象”不能直接理解为接近本质。它只说明若干输入差异被合并。哪些差异被合并，由数据、增强、遮挡方式、网络容量与损失共同决定。模型可能形成语义抽象，也可能形成基准捷径；下游性能只能证明对所测任务有效。

像素目标仍有不可替代用途。图像编辑需要保留身份细节，医学或工业检查需要微小异常，机器人接触需要精确边界。合理选择不是永远放弃像素，而是让表示有层级：高层保存对象和事件，中层保存几何与部件，低层在任务需要时保留纹理、裂纹和触点。

还要区分“不可预测”与“尚未学会预测”。水面微纹对一般动作也许无关，液体整体流动却有稳定动力学；若编码器把两者都当噪声丢弃，模型只是用抽象掩盖能力不足。判定细节可舍弃，必须看它在不同任务和时间尺度上是否改变后果，而不能只看当前损失难不难降低。

一个实用标准是干预敏感性。改变某个细节而所有候选行动的结果不变，它在当前合同中可被压缩；改变后最佳行动、风险或奖励发生变化，它就必须进入状态。这个标准不要求表示对所有像素敏感，却要求压缩由后果而非审美直觉决定。

比较项	像素预测	表示预测
预测对象	颜色值或潜在像素代码	编码器产生的特征
主要负担	不可预测细节与高维输出	编码器选择了何种不变性
常见优势	可观看、可直接检查细节	计算更省、语义与运动更稳定
典型风险	画面逼真但结构错误	关键小差异被编码器合并
规划验证	需从画面提取任务状态	需证明特征距离对应行动后果

“非像素”也不能直接推出没有视觉输入。V-JEPA 仍从视频像素训练，DINO-WM 仍由图像得到 DINOv2 特征；改变的是预测损失落在哪里。世界通过传感器进入，模型不再被要求把全部传感器读数逐项恢复。

二　JEPA 的总体设想

杨立昆在《A Path Towards Autonomous Machine Intelligence》中提出的是研究议程和架构提案，而非已完成的单一系统。提案讨论感知、世界模型、配置器、短期记忆、行动者和代价模块怎样配合，并把分层预测与行动规划放在自主智能核心。¹⁰⁷

其中，世界模型接收当前状态的表示和设想动作，预测可能后续状态。行动者提出动作序列。代价模块估计结果是否符合目标与内在约束。配置器让目标或任务条件影响各模块。不同层级按不同时间尺度工作：低层处理快速局部变化，高层处理较慢、较抽象事件。

这一构想反对把所有不确定未来都用像素生成器展开。视频的未来通常多模态：看不见的行人可以左转、右转或停下，树叶和水面更难逐项确定。若世界模型必须生成每个像素，容量会耗在不可预测部分；若预测抽象表示，模型可围绕对行动重要的兼容未来组织能量或得分。

一般 JEPA 可以理解为三个部件：上下文编码器把已知输入变成表示，目标编码器把待预测内容变成目标表示，预测器由上下文推测目标。训练使相容的上下文—目标组合在表示空间接近或能量较低，同时防止所有输入塌缩到同一个向量。

联合嵌入的难点正是塌缩。若上下文和目标都输出同一常数，预测误差可以很小，却没有保留任何输入差异。不同 JEPA 实现借助目标编码器的更新方式、正则化、架构不对称或表示分布约束避免这种平凡解。系统能否不重建像素仍学到丰富表示，首先取决于能否解决这一自监督基本问题。

“能量”在这里是一个兼容性标量或目标函数，不是物理能量，也不是康德范畴。低能量表示组合在目标函数下较相容，高能量表示较不相容；具体系统可以不显式生成归一化概率。能量式表述适合多种相容未来，因为不必为每种可能输出完整像素分布。

在行动场景中，规划器可以提出多条动作序列，世界模型预测各自目标表示，再由代价模块评估与目标的距离、风险和约束。系统寻找低代价序列，执行一部分后用新观察更新。这个循环接近模型预测控制，但 LeCun 的总体架构还设想长期记忆、分层目标与内在代价，远超一篇视觉预训练论文。

研究议程还强调分层世界模型。短时间的触觉和运动可在细粒度状态中预测，较长时间的目标和子任务在高层表示中展开。若低层每毫秒模拟，高层每秒更新，规划可以在不同尺度分配计算。这一设想很有吸引力，但不能由 V-JEPA 的单项表征结果倒推整套架构已实现。

必须保持三个证据层级。第一，LeCun 的论文提出方向；第二，V-JEPA 实现无动作视频上的表示预测；第三，V-JEPA 2-AC 以少量机器人轨迹训练动作条件模型。它们共享思想谱系，功能却不同。把提案图中的所有模块都写成 V-JEPA 已有能力，会混淆计划与证据。

• 自主机器智能提案：已经展示什么：模块关系、分层预测和行动议程；没有单独展示什么：端到端完成系统。
• V-JEPA：已经展示什么：无重建的视频特征学习；没有单独展示什么：动作条件转移与机器人规划。
• V-JEPA 2：已经展示什么：大规模观察表征、预期与问答；没有单独展示什么：仅靠观察即可控制任意机器人。
• V-JEPA 2-AC：已经展示什么：有限机器人域的动作条件规划；没有单独展示什么：任意身体、任务和长程开放规划。

从研究议程到可验系统

LeCun 的总体提案与具体 JEPA 模型之间，需要一张明确的实现清单。提案中的世界模型要接受状态与动作，按多个时间尺度预测结果，并与行动者、代价模块、记忆和配置器协作；V-JEPA 只实现其中“从观察学习可预测表示”的一部分。V-JEPA 2-AC 才补上有限动作条件，仍没有因此自动实现长期记忆、开放目标配置和通用代价模块。

这种区分并非挑剔措辞，而是保护研究议程。若把一篇表征论文的下游成绩当成整套自主智能架构已完成，后续最困难的接口——动作语义、长期目标、不确定性、身体迁移和安全代价——会从问题清单中消失。更诚实的写法是逐项标记：哪些模块已有实验系统，哪些只有局部原型，哪些仍是设计原则。

同样，“世界模型”一词在这条路线内部也有强弱两种用法。弱用法指能够预测视频表示的模型；强用法指可在动作条件下展开状态、支持规划并接受真实后果校正的模块。V-JEPA 的证据足以支持弱用法，V-JEPA 2-AC 为强用法提供窄域实例。两者共享表示学习方法，却承担不同验证责任。

可以用三个问题检查一次从议程到系统的推断：第一，输入中是否真的有动作或干预，而非只有时间相邻的观察。第二，输出表示是否可迭代展开，并在多步后仍与任务后果一致。第三，规划器是否在真实或保留环境中得到改进。缺少任一项，都应把结论停在相应层级。

这样阅读，JEPA 的价值反而更清楚。它先解决一个基础问题：能否不靠像素重建，仍从大规模视频学到稳定的时空表示；随后用少量机器人轨迹检验这些表示能否承接动作条件。研究路线的连贯性来自问题递进，不来自把未来架构预先写进当前模型。

三　V-JEPA 学到了什么

V-JEPA 的正式论文题为《Revisiting Feature Prediction for Learning Visual Representations from Video》，第一作者 Adrien Bardes。模型在视频中遮蔽较大的时空区域，上下文编码器处理可见部分，预测器根据上下文和位置标记预测被遮蔽区域的目标表示；目标编码器提供训练目标。¹⁰⁸

关键在于目标不是缺失区域的像素。系统也不依赖预训练图像编码器、文本标签、负样本或重建辅助任务。论文以约二百万段公共数据集视频训练，并在下游图像与视频任务上用冻结主干评估，报告动作与外观任务的竞争性结果。¹⁰⁸

大块遮蔽迫使模型利用更广上下文。若只遮单个随机像素，邻近纹理插值便足够；遮掉一段人物动作或对象区域，预测器需要根据前后运动、姿态和场景推测目标特征。遮挡设计因而定义系统必须学习的关系尺度。

空间遮挡与时间遮挡承担不同压力。遮住同一帧的一块区域，模型可利用周围物体和场景语义；遮住连续时段，则要利用动作前后关系。若遮挡总能由静态背景猜出，表示可能缺少动力学；若遮挡过大且目标过抽象，预测器又可能只输出宽泛语义。掩码分布本身就是课程设计。

目标编码器通常查看较完整输入，它产生的表示随训练更新；预测器学习从不完整上下文靠近这些目标。为避免上下文与目标共同退化到常数，训练使用架构与更新机制维持非塌缩表示。最终抽象不是人工指定的“对象列表”，而是在互相预测中形成。

这也使“预测正确”具有相对性。预测器不是靠近一个固定的人类语义标签，而是靠近目标编码器当前给出的坐标；编码器若忽略某属性，预测器无需恢复它。V-JEPA 的能力上限不仅由预测器决定，也由目标表示对世界差异的分辨率决定。

冻结主干评测很重要。若每个下游任务都大规模微调，难判断预训练表示本身保留了什么；冻结后只训练较小探针或任务头，更能检验表示是否已编码动作、外观等信息。不过，探针成功仍不表示模型具有可迭代未来或行动接口。

V-JEPA 主要是一种自监督视觉表征学习模型。它能从上下文预测被遮蔽特征，能支持动作识别和图像分类，并不自动回答“机器人向左推会怎样”。无动作互联网视频展示事件相关，却很少提供同一初态下不同动作的对照；观察预测与干预预测仍有距离。

同一个视频变化还可能有不同来源：对象自己移动、另一对象碰撞、摄像机移动，或剪辑切换。若训练目标只要求预测下一表示，常见统计可以让四者混在一起。动作条件数据的价值就在于给某一变化增加可控来源，使“发生了什么”进一步接近“这个命令造成什么”。

这一区分可以用杯子案例说明。视频里手通常从某方向接近杯子，V-JEPA 可学到接近、抓取、抬起的动作图式；若机械臂改变夹爪力度，杯子滑落概率怎样变化，需要动作参数、接触与结果数据。高质量动作表示是基础，不是完整动力学证据。

V-JEPA 还不输出可观看视频，外部审计更困难。像素模型的杯子穿墙可以直接看见，特征模型的错误需要解码、探针或下游任务才能暴露。非像素预测减少不必要细节，也把可解释性问题转移到表示评测。

四　从无动作视频到动作条件规划

V-JEPA 2 把观察学习规模扩大到超过一百万小时的互联网视频与图像数据，继续以无动作条件的自监督方式预训练编码器和预测器。论文报告运动理解、动作预期和视频问答等结果；这些结果说明表示覆盖广泛视觉时间结构，仍不构成机器人控制本身。¹⁰⁹

动作桥梁由 V-JEPA 2-AC 建立。团队用 DROID 数据集中不足六十二小时、没有任务标签的机器人视频后训练潜在动作条件世界模型。给定当前观察表示和候选机器人动作，模型预测未来表示；规划器以目标图像的表示为目标，搜索使预测状态更接近目标的动作序列。

这个规划过程与第十二章的 PlaNet 相似：动作序列在潜在状态中展开，目标距离直接在特征空间计算，只执行一部分动作后再观察。区别在于，V-JEPA 2 的视觉编码器先从海量无动作视频获得表示，动作条件部分再用规模小得多的机器人轨迹学习。

可以把目标写成最小化预测终态与目标图像表示之间的距离。若当前状态为 $z_t$、候选动作序列为 $a_{t:t+H}$，动作条件模型得到预测终态 $\hat z_{t+H}$，规划器选择使 $d(\hat z_{t+H},z_{goal})$ 较小的序列。公式简洁，全部难题集中到动力学与距离：预测是否准，距离是否真与成功一致。

论文在两个实验室的 Franka 机械臂上进行零样本部署，完成到达、抓取和取放等图像目标任务。团队称部署环境的机器人没有额外收集数据，也没有任务特定训练或奖励。¹⁰⁹ “零样本”指针对这两个部署环境和任务设置不再训练，不表示模型从未见机器人视频。

这类零样本规划与语言模型的零样本提示不同。这里有动作轨迹后训练、已知控制接口和图像目标，只是在新实验室任务上不再做任务特定优化。若更换机械臂结构或动作定义，原转移模型未必可直接使用；术语必须跟部署协议一起读。

目标图像使任务说明很简洁：当前桌面是起点，物体被放到某处的图像是终点，规划器寻找缩短特征距离的动作。但目标特征是否等于任务成功仍需检查。夹爪看似靠近杯子，表示距离可能很小，实际上没有夹紧；小物体位置错误，却被全局场景相似掩盖。

动作条件还需身体匹配。DROID 轨迹来自特定机器人与相机设置，部署使用 Franka 机械臂；动作坐标、控制频率、视角和夹爪结构影响转移。跨实验室成功说明一定适配能力，不能外推到任意身体、工具和动力学。

“从观察学会物理”也应细分。互联网视频提供人、物体和运动的宽覆盖，却没有机器人控制向量；DROID 轨迹提供动作—后果对，却规模较小、身体特定。前者改善状态表示，后者赋予动作语义。若没有第二阶段，同一视觉变化可能由外力、摄像机或主体动作造成，模型无法知道机器人命令怎样介入。

DINO-WM 提供一条独立佐证。它使用预训练 DINOv2 的空间块特征，从离线行为轨迹学习动作条件动力学，不重建视觉世界，并通过优化动作序列追逐目标特征。论文在六个环境中报告无专家演示、奖励模型或预学逆模型的零样本行为解。¹¹⁰

两条路线共同说明，预训练视觉特征可以成为世界模型状态的起点。表示先吸收大规模视觉结构，较小行为数据再学习动作后果。它们也共享一个条件：目标必须在特征空间可分。若编码器把两个任务上不同的状态映成近邻，规划器就看不见差异。

DINO-WM 的“任务无关”同样是限定说法：模型不为每个测试目标单独训练奖励或策略，目标以视觉特征给出；动作空间、环境和离线轨迹仍规定可规划范围。零样本解决新目标比固定策略更灵活，不等于脱离训练动力学的开放世界迁移。

2026 年的 V-JEPA 2.1 进一步加强密集空间—时间特征，以密集预测损失、深层自监督和图像—视频统一标记器改善局部表示；论文还报告相对 V-JEPA 2-AC 的机器人抓取提升。¹¹¹ 这项更新恰好表明，早期全局抽象并非终点：规划需要的细粒度空间信息必须重新进入表示。

图13-2　V-JEPA 2-AC 的有限规划合同。候选动作序列被映射到预测目标表示，并与目标图像表示比较；执行后的新观察必须回到循环中检验表示距离是否真与任务后果一致。

五　表示会遗漏什么

最难的反对意见是：像素细节有时正是因果关键。一条几乎不可见的裂纹决定玻璃是否破裂，液面高度决定容器移动是否溢出，夹爪与物体间一毫米间隙决定抓取是否成功。若编码器为了语义不变性忽略这些差异，抽象越稳健，行动越危险。

问题不只在空间分辨率。短促接触可能被时间下采样抹掉，轻微声响可能提示材料断裂，触觉滑移在视觉上几乎不可见。纯视频预训练无法保证保存本体感觉、力和触觉变量；对机器人而言，多模态状态可能是必要条件。

两个视觉相似状态也可有不同隐藏属性。相同外观的杯子一个空、一个装满热水；两块地面一块干、一块有透明油膜；电池外形相同而电量不同。表示预测若只从视觉建立状态，不能凭空恢复不可观察变量。系统应保持不确定性，主动触碰、称重或询问，而不是输出唯一确定后果。

这里出现三种遗漏。感知遗漏是传感器根本看不到，如杯中重量；编码遗漏是像素可见而特征丢掉，如细裂纹；动力学遗漏是状态保留了差异，却没有学到它怎样影响未来。三者修复方式不同：增加传感器、调整表示、补充动作数据。笼统提高模型规模未必对症。

遮挡学习会选择预测尺度。大块遮挡鼓励全局对象与动作，可能牺牲边界；密集损失恢复局部，又可能增加纹理负担。没有单一遮挡方案适合所有任务。较稳妥的设计是多尺度状态与可调读取：规划粗路径时用高层表示，接近接触时切换密集视觉和触觉。

多尺度并不是简单把所有像素重新塞回去。系统可以让不同层分别对对象身份、三维几何、部件接触和传感细节负责，规划器按阶段调用；不确定性高时再请求更细观察。这样既保留抽象节省，也避免单一嵌入成为不可逆瓶颈。

评测也不能停在动作分类。至少要检查：小对象和触点能否从表示中读出。动作改变时预测特征是否按方向变化。多步展开是否漂移。目标特征距离是否与真实成功率单调对应。模型在陌生材料和视角下是否校准不确定性。

读取探针还可能高估可用性。某属性能被复杂监督头从表示解码，不表示简单规划距离会自动利用；反之，线性探针分数一般，动力学仍可能保留足以排序动作的关系。最好把静态可读性、动态预测和实际规划分别报告，避免一种证据代替三种能力。

反事实成对测试尤其关键。固定初态，只改变夹爪力度、推动方向或物体材质，比较预测表示是否只改变相关后果；再固定动作，只改变摄像机或背景，检查任务状态是否稳定。前者检验对行动敏感，后者检验对无关呈现不敏感。

特征距离还可能被规划器利用。若目标嵌入重视物体大致位置而忽略碰撞，规划器会选择让手臂穿过障碍的捷径；若背景占主导，它可能移动摄像机而非物体。和所有学习世界模型一样，优化会主动寻找表示盲区。

安全规划还需“不知道”的表示。陌生工具、透明物体或遮挡接触超出训练分布时，系统应提高不确定性、缩短规划视野或请求新观察。若所有目标都被映成确定向量，规划器会把知识不足误当精确状态。抽象预测不能只提高不变性，还要保留可校准分歧。

因此，非像素世界模型需要双重审计。一方面检查编码器保存什么，另一方面检查动力学怎样移动这些表示。静态探针很强而动作转移错误，不能规划；转移在常见轨迹准确而目标特征遗漏任务条件，同样不能规划。

案例框 8　嵌入距离骗过规划器

情境：目标图像显示杯子位于桌面右侧。规划器在表示空间中寻找最接近目标的动作，结果选择移动摄像机，使杯子在画面中看似右移，而没有真正推动杯子。

检验：固定对象世界坐标、改变相机；再固定相机、真实移动对象。比较目标表示距离对两种变化的敏感性，并在真实任务中验证“杯子是否到位”。

可能结果：表示更重视二维构图而非对象状态，摄像机捷径得到更低代价。

判断：预训练表示中“可读出杯子位置”还不够，规划使用的距离必须与任务后果一致。表示审计要覆盖静态信息、动作转移与目标函数三层。

摄像机捷径表明，表示可读出信息不等于规划代价与真实任务一致。下面的四层验收将静态表征、动力学、目标函数和闭环执行分开。

表征世界模型的四层验收

表征预测比像素生成更难直接观看，因此需要分层验收。第一层是静态可读性：对象、姿态、局部接触和场景关系能否从表示中读取。第二层是动态充分性：给定动作，表示转移能否正确区分后果。第三层是决策一致性：表示距离、价值或代价能否把真实较优行动排在前面。第四层是闭环效用：使用该表示规划，是否在真实或保留环境中提高成功并减少交互。

四层之间不能倒推。分类探针很强，只说明某些信息存在，不说明动力学会正确移动它。短滚动准确，不说明特征距离与任务成功一致。规划在一个实验室成功，也不说明跨身体、长视野和未知材料仍可靠。每升一层，模型承受的优化压力和分布偏移都更强。

还应加入两组对照。第一组固定任务状态、改变无关呈现，例如背景、纹理、摄像机和光照；理想表示应相对稳定。第二组固定外观大致相似、改变行动相关变量，例如夹爪是否闭合、物体是否被卡住、表面是否湿滑；理想表示应显著区分。前者检验不变性，后者检验敏感性。只有同时通过，抽象才不是简单丢失信息。

近期决策中心评测把证据从视觉可信一直排到策略优化，并特别强调模型可利用性与不确定性校准。¹¹² 对 JEPA 路线而言，这意味着不能只问嵌入是否“更语义”，还要让规划器在嵌入中寻找捷径，再到现实后果中核验。若目标距离可被相机移动、遮挡或背景变化欺骗，表示就没有保留任务所需的因果区分。

第四层的成功也不要求表示恢复全部像素。一个粗粒度状态可以在明确任务中非常有效；评价的关键是合同诚实：它忽略了什么，忽略项在何种任务下会重新变得重要，系统何时知道自己超出范围。表征世界模型的优势是选择性，风险也是选择性。

多尺度表示与主动感知

“保留所有细节”和“只保留抽象语义”之间还有第三条路：让表示按尺度组织，并允许行动者在需要时主动取得更细信息。导航阶段可以使用房间布局和障碍物的粗状态；靠近桌面后切换到对象与部件；真正抓取时再提高对指尖、接触边缘和触觉的分辨率。世界模型不必始终支付最高精度，却要知道何时粗表示不够。

这种层级可以在空间、时间和模态上同时展开。空间上，从场景到对象再到接触点；时间上，从长期任务阶段到短促碰撞；模态上，从视频外观到本体感觉、力和声音。不同层级之间需要接口：高层目标怎样约束低层动作，低层意外怎样迫使高层改计划，哪些状态必须跨层共享。

主动感知使“不确定性”变成动作来源。杯子重量不可从图像确定，机器人可以轻推或抬起测试；透明门是否关闭难以看清，可以改变视角或用触觉探测；目标物被遮挡，可以先移动遮挡物。世界模型不仅预测任务动作的后果，也预测信息获取动作会减少什么不确定性。

这比被动视频学习多出一个重要结构：系统可以选择下一次观察。无动作视频中的视角和事件由拍摄者决定，模型只能利用已有分布；具身系统则能主动制造有区分度的经验。同一初态下，拍一张侧面图、触碰表面和直接抓取，对状态辨识和风险的价值不同。

评测因此应包含“何时请求更多信息”。若模型在高置信错误时直接行动，表示虽紧凑却不可靠；若对所有陌生情况都请求完整扫描，安全但失去效率。较好的系统会把预计信息收益、动作成本和失败风险共同计算，在关键差异可能改变策略时提高观察精度。

多尺度与主动感知也给 JEPA 的抽象路线一个更积极的解释：表示不必一次决定永远忽略什么。它可以在任务和不确定性驱动下调用更密集特征，或让不同预测器处理不同尺度。抽象的价值不在永久删除细节，而在把计算放到当前行动真正需要的位置。

六　与康德图式的有限对读

JEPA 容易引出一个哲学类比：认识不是复制感觉，而是把经验组织成可预测、可行动的结构。康德图式也是一种中介，概念通过时间性规则适用于直观；一只狗的图式不是某一张狗的画像，而涉及一种使个别显现可被认作同类的规则。

结构相似之处在于，二者都拒绝把认识等同感性材料的逐项复写。JEPA 用编码器合并无关像素差异，再预测表示；图式论说明概念运用需要可在时间中展开的规则。前者的成功也支持一个有限工程判断：预测有用结构，有时比复制全部外观更接近任务所需。

但 JEPA 不是康德图式。编码器从数据与损失中学习，没有先验范畴的哲学地位；特征向量是否对应对象、实体或因果，要靠实验，不能由“抽象”二字保证。能量函数也不是范畴，动作规划不是完整实践理性。

图式在康德体系中解决概念与感性直观异质而又必须结合的问题，具有先验论证背景；JEPA 则在同一数值系统中训练编码器和预测器，以统计目标形成相容坐标。两者都可谈“规则化中介”，但问题层级、证明方式与适用范围完全不同。

预测加工研究确实有人追溯到康德。Lawrence R. Swanson 讨论了生成模型、预期、想象力与图式之间的思想史关联。¹¹³ 这类研究支持概念对读，不证明现代 JEPA 从康德直接技术继承，更不能写成“康德预言了 V-JEPA”。

康德式问题反而能用来审问表示：同一对象在视角、遮挡和时间变化中是否保持？状态变化是否受规则约束？多个属性是否属于同一实体？行动后的结果能否归入同一共同经验？这些问题比“嵌入是否抽象”更具体，也更适合实验化。

反过来，JEPA 也给哲学类比设限。机器表征可以在没有可解释概念、没有自我意识、没有共同语言的条件下支持预测与抓取；因此，任务有效的“综合”比人的经验统一更薄。不能因为算法表现出规则化预测，就把统觉、判断或常识整体投射进去。

JEPA 路线对世界模型概念的最大贡献，是把“预测什么”置于中心。视频像素、潜在视频代码、语义特征、奖励、价值和目标距离不是同一预测对象；每种选择都定义模型可见的世界。舍弃像素可以避开不可预测噪声，也可以丢掉后果的微小原因。

恰当结论不是表征预测比生成永远高级，而是预测目标必须与行动合同对齐。V-JEPA 证明无像素重建的特征预测可学习通用视频表示，V-JEPA 2-AC 和 DINO-WM 证明此类表示可以接入有限规划；它们的世界性边界，则由动作范围、目标特征、身体与闭环证据共同决定。

如果目标是视频理解，冻结表示的分类、检索和问答可以构成主要证据。如果目标是世界预测，就要增加多步与不确定性。如果目标是规划，还要让强优化器在真实后果中检验。模型名称相同，证据合同可以逐级变强，不能倒序借用。

下一章将转向空间智能。JEPA 问怎样丢弃不必要细节，空间生成路线则追问怎样让场景在新视角、进入、编辑和返回时持续存在。两条路线可能结合：抽象状态负责可预测结构，三维表示负责空间持存；但“可进入的场景”仍不足以说明“可行动的世界”。

表示塌缩之外还有任务塌缩

JEPA 训练首先要避免所有输入映成同一向量的表示塌缩。即使数学上没有塌缩，仍可能发生“任务塌缩”：表示保留足够差异完成主流基准，却把某类下游任务所需变量系统性合并。动作识别很好，不代表抓取接触可分；场景语义丰富，不代表液面高度可读。

任务塌缩往往在平均基准中看不见，因为被遗漏变量只影响少量但关键样本。诊断应按物理或行动因素分层采样，并比较加入该变量前后最佳动作是否变化。若变化后表示几乎不动，问题在编码；若表示改变但规划器不响应，问题在动力学或目标。

这也说明通用表示不是一次性完成的资产。新的身体、传感器和任务会提出新的充分性要求，模型可能需要密集头、多模态补充或局部再训练。可迁移性不是永远不改表示，而是在新增少量证据后能否保留旧能力并增加必要区分。

报告表示时应避免的四个省略

第一，不只报告下游最高分，还要说明主干是否冻结、任务头多大、用了多少标签；否则性能可能主要来自后续监督。第二，不只报告平均任务，还要列出细粒度接触、遮挡、时间方向和分布外变化。第三，不只展示可视化聚类，还要测试动作条件转移。第四，不只报告成功轨迹，还要说明目标距离在哪些失败中被欺骗。

这四项不会给表示一个终极分数，却能判断“信息存在”“可被预测”“可被规划利用”分别到哪一步。表示模型越抽象，报告越要把读取方式和任务合同写清。

注释

第四部（下）：世界模型路线

第十四章至第十五章：空间智能、行动、反事实与机器人

第十四章　李飞飞：空间智能与持存的三维世界

一段视频让我们沿一条既定路线观看房间：镜头经过门口，绕过桌子，最后停在窗边。一个可导航的三维场景则允许我们在门口转向，走到桌后，蹲下查看椅子底部，再回到原处。前者给出一次已经选择好的观察序列，后者必须回答尚未被选择的视角问题。

这一差别看似只是“多几个镜头”，实际改变了模型承担的约束。若红球在第一视角中滚到桌后，从另一侧查看时它应在相容位置重新出现。若使用者离开房间又返回，桌椅不应因为没有进入当前画面而任意重排。若把墙上的画换成镜子，其他视角、反射与遮挡关系都应随之更新。空间不再只是画面的内容，而成为可反复查询、可以局部修改、必须维持一致的状态。

李飞飞近年来把这组能力概括为空间智能：智能系统不仅要给图像贴标签、用语言描述可见内容，还要感知、生成和推理三维世界，并最终在其中行动。她的个人论述提出了一项研究愿景；她参与创办的 World Labs 则以实时帧生成与三维世界生成系统探索其中一部分。两者相关，却不能混写成已经完成的统一技术体系。

空间路线给世界模型增加了重要内容：新视角约束、遮挡后的对象持存、可返回性、可编辑性和几何结构。但它没有自动带来材料属性、接触动力学、可供性或行动规划。一只杯子可以在每个视角都几何正确，却仍不能被可靠抓起；一个房间可以自由游览，却未必能预测推门、泼水或撞墙之后发生什么。本章讨论的边界正位于两句话之间：可进入的场景比单一路径视频更像世界，但可进入仍不足以说明可行动。

图14-1　单一路径视频与可返回空间。预定相机轨迹只给出一条观察路径；可返回空间还要支持分支视角、持存状态、闭环回访与局部编辑。

一　从视觉识别到空间智能

现代计算机视觉的一条主线，是从像素中识别对象与场景。图像分类把一幅图映成类别，目标检测给出对象名称与位置，分割进一步标出像素归属。ImageNet 所代表的大规模标注路线证明，丰富数据与统一评测可以大幅推进视觉表示；它同时把任务边界规定为：给定已经拍下的图像，系统能从中读出什么。

空间智能把问题从“画面里有什么”移向“事物在哪里、彼此怎样排列、从另一位置看会怎样、我能对它做什么”。识别一把椅子不必知道椅背后的形状，绕椅导航却必须估计其占据范围。识别一个杯子不必知道它是否在伸手可达处，抓取则需要姿态、开口方向、重量与接触信息。场景语义仍重要，但它只构成空间任务的一个层面。

李飞飞在 2025 年的个人文章《From Words to Worlds: Spatial Intelligence is AI’s Next Frontier》中，把空间智能组织为感知、生成或推理与行动之间的循环，并提出世界模型应具有生成性、多模态性和交互性。¹¹⁴ 这里的“应当”是研究纲领，不是现有系统的验收报告。个人文章可以说明路线怎样自我定位，不能单独证明某个模型已达到物理一致或开放交互。

这一方向并非在生成式人工智能出现后才突然开始。三维重建、同时定位与建图、机器人导航、动作识别和可供性研究，长期都在处理观察与空间行动的关系。Gibson Environment 就把真实建筑扫描转成供智能体导航的虚拟环境，使智能体受到布局和物理空间约束，并用视觉转换机制研究模拟到现实的迁移。¹¹⁵ 它代表的是环境与具身评测路线，不是今日生成模型意义上的开放世界生成。

可供性研究又增加一个维度：对象的意义不止是名称，还包括在特定身体和情境中可做什么。Yuke Zhu、Alireza Fathi 与李飞飞 2014 年的工作，用知识库表征对象、人的姿态和动作关系，尝试在缺少直接训练样本时推断对象可供性。¹¹⁶ “杯子”这个类别并不直接给出能否握持；把手尺寸、朝向、手的结构和任务共同决定可执行关系。

需要校正一个资料错误：修订前项目来源表把 Yuke Zhu 等人的文献写成《Object Affordances as a Principle for Scene Categorization》，实际可核验的论文是《Reasoning About Object Affordances in a Knowledge Base Representation》；前一个近似标题对应另一组作者的场景可供性研究。¹¹⁶ 这不是无关紧要的书目细节。若把场景分类论文当作机器人行动证据，就会把“能按用途区分场景”误写成“已经学会在场景中行动”。

从识别到空间智能，至少发生三次扩展。输入从单一图像扩展到多视角、视频、相机姿态和三维线索。输出从类别扩展到几何、可查询观察与可编辑场景。验证从静态标签扩展到移动、返回、干预和行动结果。三次扩展可以分别取得进展，不能因其中一项成功便推定其余两项成立。

李飞飞的个人愿景、World Labs 的公司路线与更广泛的空间研究共同形成一个问题域，却有不同证据地位。愿景说明什么值得建造，公司演示说明某种系统能做什么，学术基准和独立复现才比较不同方法在限定条件下怎样表现。把三者分开，既不是削弱空间智能，也是在为它建立可检验的能力合同。

一条更长的个人研究线

把“空间智能”只理解为 World Labs 成立后的口号，会切断它与李飞飞此前研究的联系。她早期参与的大规模视觉识别工作，首先解决对象类别与数据规模问题。之后对场景、人的动作和对象可供性的研究，开始把视觉单位从孤立物体扩展到关系。Gibson Environment 等具身环境工作又把观察放进可移动主体和真实建筑约束。2025 年的个人文章把这些方向重新概括为从 words 到 worlds，并把生成、推理和行动放到同一愿景中。¹¹⁴

这条路径不是从二维识别“自然升级”为三维世界。ImageNet 式分类依靠离线图像和固定标签，空间智能则要求系统主动选择视角、保存未呈现部分、响应编辑或动作。前者可以在对象完全脱离场景时成功，后者必须处理对象与地面、容器、身体和其他主体的关系。任务改变后，原来被视为背景的几何与历史会变成核心状态。

可供性研究提供一个过渡例子。若模型只识别“椅子”，它不必区分成人可坐的高度、幼儿能否爬上、轮式机器人能否穿过椅腿；若任务是行动，类别必须与身体尺寸、目标和环境状态结合。早期知识库方法把对象、姿态和动作关系显式编码，今天的生成式空间模型更多依靠连续表示；表示不同，问题仍相通：视觉内容何时成为可行动关系。

因此，本章标题中的“李飞飞”指一条问题意识，而不是把公司所有技术归于个人。个人文章为研究目标提供第一手表述，学术论文提供历史环节，World Labs 的公开系统提供当前案例。三类材料互相解释，但不能互相替代：愿景不能证明产品性能，产品演示也不能反向证明过去研究已经包含今天的全部概念。

从这条更长路径看，空间智能的核心不是把二维输出换成三维格式，而是让模型面对可继续询问的环境。对象要从别处仍可找到，场景要经得起返回和编辑，行动者要能把空间关系转成可能动作。三维表示是重要手段，持续可查询的关系才是本章真正关心的能力。

二　多视角增加什么

单幅图像对三维场景的规定严重不足。一只圆盘可能是正对相机的薄板，也可能是球体的可见面；一张桌子后方的区域没有进入视线，那里可以有球，也可以没有。图像生成器只要给出一个可信投影，多种互不相容的三维解释都能通过观看检验。

增加一个有基线差异的视角，会加入视差、尺度变化和遮挡次序约束。近处对象随相机移动得快，远处对象移动得慢；被桌腿遮住的地板在侧移后显露；椅背左右边缘的相对位置随视角改变。多视角不是简单重复图像，而是让多个二维投影共同约束一个场景。

红球案例最能暴露差别。第一视角中，红球滚到桌后并完全消失。若系统只是延续当前帧，可以在不可见时删除它，等镜头转到桌后再生成一只看似合理的新球。若系统维护跨视角状态，则应根据进入遮挡前的位置和运动，限制它重新出现的范围、时间和方向。对象持存把不可见阶段也纳入模型承诺。

还可以做绕桌检验：从桌前看到球的一部分，沿顺时针走到桌侧，再从逆时针返回。不同路径抵达同一相机姿态时，球、桌角与背景应相容。路径无关性不是要求像素完全一致——光照、运动对象和随机现象可以改变——而是要求没有被动作改变的场景结构不随查询历史任意漂移。

多视角约束也揭示相机运动与对象运动的不同。若整幅场景随相机平移产生系统视差，那是观察位置改变；若只有球相对桌子移动，那是对象状态改变。单一短视频可能靠统计模式混合两者，可交互视角允许主动改变相机，给系统加入一种受控干预。

然而，多视角一致不要求系统内部一定有显式对象列表、三角网格或传统三维坐标。神经渲染器可以把场景压缩在网络权重、特征场或缓存中，输入相机姿态便输出相容图像。它或许从不写下“红球对象编号 17”，却仍在行为上保存足以回答视角查询的信息。

这构成对“持存必须等于显式对象状态”的强反对意见，也是合理的。状态可以是隐式的；工程上更重要的问题是哪些查询保持稳定。给定相同视角能否回到相容场景？改变球的位置后，其他视角是否同步？扩展房间后，原有区域是否保留？两个相邻区域能否对接？如果系统反复通过这些检验，不能仅因表示难以解释就否认它具有空间状态。

反过来，输出多张一致图片也不证明内部形成了完整世界。训练集常见房间布局、相机轨迹平滑和局部纹理复制，都可能让系统在短路径上表现稳定；绕到罕见角度、长距离离开再返回、重复局部编辑时，几何便可能破裂。测试必须扩大查询分布，尤其检查闭环路径、远离后返回和遮挡解除。

可以把单视频与可导航三维的差异概括为“分支观察”。视频预先确定一条相机轨迹，模型只需沿该轨迹给出连续帧；可导航场景面对一棵视角树，使用者每一步都可选择新姿态。树的分支越多，系统越需要共享某种稳定状态，否则每条分支会生成彼此冲突的房间。

这种状态承诺仍是有限的。它首先约束观察，而不是所有物理后果。若使用者只能移动相机，模型只需回答“从这里看是什么”；若使用者可以推桌子、砸杯子、开灯，状态转移才必须包含力、材料、电路和动作后果。多视角把世界容量从画面推进到空间，却没有完成从空间到动力学的跨越。

三　持存的三维状态

World Labs 的 RTFM——实时帧模型——提供了一种有意避免显式三维表示的方案。官方研究预览把它描述为学习型渲染器：系统接收带相机姿态的历史帧与新的查询姿态，自回归生成下一帧。核心是对帧序列建模的扩散 Transformer，而不是先重建网格再用图形管线渲染。¹¹⁷

在这种系统中，过去帧及其姿态构成空间记忆。用户向左移动，相邻观察进入上下文；稍后回到原位，系统可以检索与目标姿态接近的先前帧，恢复局部外观。官方把这种选择相关历史帧的机制称为“context juggling”，并以此主张场景可以持续扩展和长期保持。¹¹⁷

这里的状态是隐式而分布式的：一部分在模型参数所学的三维先验中，一部分在当前缓存与带姿态帧中，一部分在检索策略中。它不像传统场景图那样直接列出墙、桌、球及其关系，但能以新姿态为问题生成回答。只要查询可重复，隐式性本身不构成缺陷。

RTFM 也说明“记住一个世界”为什么昂贵。普通视频每秒只有固定帧数和固定轨迹；交互场景要低延迟回答任意移动，还可能以高分辨率持续一小时。官方以 4K、每秒六十帧估算，朴素交互流每秒可超过十万个标记，一小时上下文会超过一亿标记。¹¹⁷ 因而，空间持存不仅是生成质量问题，也是记忆选择、压缩与随机访问问题。

“离开房间再返回”是比相邻视角更严格的测试。系统先在房间 A 看见桌上的红球，穿过走廊进入房间 B，停留一段时间，再原路返回。此时不仅红球要存在，桌面划痕、椅子朝向与局部编辑也应保留。若长上下文只保存最近帧，A 会被遗忘；若用压缩记忆，细节可能合并；若重新生成，身份可能漂移。

官方材料把系统的空间持存描述得很强，但研究预览与独立验证需要分开。所谓“无限”或“永不遗忘”首先是架构目标和演示口径，不是对所有时长、所有路径、所有编辑的数学保证。真实评测应报告记忆容量、回访间隔、闭环误差、局部身份保持和计算成本，而不是只展示一次顺利漫游。

姿态输入还预设一种弱欧几里得结构：每帧与相机位置和朝向绑定，查询也由姿态定义。这有助于把历史观察组织成空间记忆，却未必产生度量准确的几何。系统可以让墙在视觉上连续，实际距离却缓慢伸缩；可以在回访时恢复桌子外观，碰撞边界却与画面错位。观察一致与几何精度必须分别测量。

显式三维与隐式渲染各有代价。网格、点云或高斯表示便于测距离、检查碰撞和导入图形工具，但重建误差会形成裂缝、浮点或薄表面。纯帧模型能直接优化视觉质量，可能更自然地补全未知区域，却较难保证拓扑、尺度和可编辑对象边界。两者不是“传统”与“智能”的简单胜负，也可以组合。

持存还包含编辑后的持存。把桌上红球改成蓝色，然后绕到背面，球背面也应变蓝；移动椅子后离开房间，返回时椅子仍在新位置；删除一扇门，隔壁房间的连接关系也需更新。编辑把静态多视角一致升级为干预一致：系统必须区分被修改状态与应保持不变的上下文。

若编辑只在当前视图上做二维修补，换个角度就会露出旧对象；若全局重生成，又可能把未指定的桌面、灯光和房间尺度一起改变。可靠编辑因此需要身份、局部性和跨视角传播三项约束。它们未必要求符号对象数据库，却要求内部表示能把“改这个，不改其他”落实到多次查询。

案例框 9　离开房间之后

情境：用户在房间 A 把红椅移到窗边，穿过长走廊进入房间 B，扩展一个新区域并修改灯光，十分钟后返回 A。

检验：检查红椅位置、桌面细节、房间连接和光照是否保持；再从不同路线回到同一姿态，比较结构；最后撤销椅子编辑，看变化是否只影响相关对象。

可能结果：系统恢复房间大致风格，却把椅子放回原处；或保留椅子，但因扩展 B 而改变 A 的尺度。

判断：空间持存不是某一帧的相似度，而是历史编辑、闭环路径和分层记忆共同接受约束。所谓长期或无限持存必须附回访间隔、细节层级和资源成本。

回访案例把空间持存落实为路径闭环、编辑历史和局部不变性。生成与编辑工具只有通过这些检查，才能支持较强的空间状态主张。

四　生成、重建和编辑

Marble 展示了另一条空间路线。根据 World Labs 的官方介绍，系统可以从文字、图像、视频、多张不同视角图片或粗略三维布局生成可探索的三维世界，并允许扩展、组合和编辑。输出可导出为高斯泼溅、三角网格与视频。¹¹⁸ 与 RTFM 的按姿态生成帧相比，Marble 更明确地产生可被外部工具使用的三维表示。

同一系统覆盖的任务其实不同。从多角度照片恢复一间真实房屋，主要是重建：已有场景对输出施加强事实约束。从一张图片补全房间背面，已知部分是重建，未见区域只能依据先验生成。从一句“海边的玻璃温室”造出场景，则主要是生成。三者都可输出三维资产，却不能用同一种“准确”评价。

重建应问输出是否忠于具体来源：墙的尺寸、门窗位置和对象身份是否正确，未知处是否标明不确定。生成应问世界是否满足提示、内部一致并具有多样性。混合任务最容易产生误解：系统补出的背面可能非常可信，却没有证据表明真实房间就是如此。“看起来完整”不能抹去观察缺口。

多图提示比单图增加控制。用户可以为正面、侧面和室内角落分别给参考图，让系统协调视角；视频则提供连续移动与遮挡线索。更多输入一般减少几何歧义，但若图片来自不同时间、相机参数不明或彼此冲突，系统仍需选择、融合或拒绝。输入数量不是一致性的充分条件。

Marble 的编辑能力使世界不再是一次性输出。官方示例包括移除或替换对象、改变风格、重构局部空间、扩展模糊远景以及把多个世界组合起来。¹¹⁸ 这些功能可用于关卡设计、虚拟制作和原型开发，也提供了检验状态表示的手段：局部编辑能否传播到所有视角，同时保持其他区域不变。

名为 Chisel 的控制方式以粗三维布局规定结构，再用文字指定风格。它把“房间和楼梯放在哪里”与“表面像木材还是石材”部分分开，使用户不必完全依赖文字描述几何。结构—风格分离很有意义，但仍是近似控制：风格变化也会影响厚度、反射和可见边界，布局草图也未包含全部对象关系。

导出格式进一步揭示不同能力合同。高斯泼溅通常优先保留新视角的视觉质量，三角网格更容易进入游戏引擎和传统三维管线。官方还提到用于粗略物理的碰撞网格，以及尽量匹配视觉外观的高质量网格。¹¹⁸ 同一场景的渲染表面与碰撞表面可能不同，漂亮画面并不保证身体实际接触的位置正确。

设想生成一个厨房：杯子外观与台面距离在各视角都正确，碰撞网格也阻止相机穿过桌面。机器人伸手抓杯时，系统仍需知道杯子是否可动、质量多大、把手能否承重、摩擦系数怎样、手指施力后如何转动。粗碰撞只回答“哪些体积不能互相穿透”的一部分，不提供完整材料和动力学。

扩展世界也会遇到接缝问题。用户把模糊远景扩展为新街区，新增街道要与旧道路相接，建筑尺度和光照要连续；若之后返回旧区域，原有对象不能被新生成覆盖。扩展是带约束的生成，既要创造未知内容，又要冻结已承诺内容。越长程的空间，越需要分层记忆与全局坐标。

因此，生成、重建和编辑不是同义词。重建受来源真实性约束，生成受提示和内部一致约束，编辑受干预局部性约束。一个系统可以三者都做，却应分别报告证据。把它们合并为“创造世界”，会遮蔽最关键的问题：哪些部分来自观察，哪些来自先验，哪些在修改后仍受保存。

图14-2　渲染、模拟与规划的功能循环。渲染器把状态变成观察，模拟器预测动作后果，规划器按目标选择动作；三者可连接，但各自需要独立证据。

来源图：哪些是观察，哪些是补全

空间系统的一个出版级说明应附“来源图”。对生成世界中的每个区域或对象，记录它主要来自文字、单图、多视角、视频、粗三维布局，还是模型先验补全。来源图不是要求揭示神经网络的全部内部因果，而是让使用者知道哪些部分有外部证据，哪些部分只是可信生成。

在建筑重建中，这一区分尤其重要。正面照片能够约束门窗与材质，背面若没有任何观察，系统只能按常见结构补出；生成结果可以作为设计草案，不能作为测绘事实。若使用者之后补充背面照片，系统应优先服从新证据，并标出哪些旧区域被修正，而不是让两个版本无痕融合。

来源还应传到编辑历史。用户把一扇真实照片中的门移到别处，输出从“重建”变成“基于重建的编辑”；再用文字扩展新房间，新增部分属于生成。一个世界可以同时含事实约束、设计决策和模型想象，统一视觉风格不应抹平这些认识地位。

对机器人或工程用途，来源图可以转成风险权重。有多视角测量支持的墙体可作为较高置信障碍，单图补全的薄物体需要重新观察，纯文字生成区域只能用于模拟训练而非现实导航。规划器不必把所有空间单元视为同等可靠。

这种记录也能改善创作。设计者可以锁定已确认结构，让模型只扩展低置信区域。可以比较多个补全方案，而不让系统过早选择唯一世界。还可以在导出网格时保留来源和不确定性元数据。空间持存因此不只是“记住生成了什么”，也包括记住为什么相信某部分如此。

五　可交互仍不等于物理模拟

World Labs 在 2026 年提出一套功能分类，把世界模型相关系统区分为渲染器、模拟器和规划器，并强调三种功能可以结合。¹¹⁹ 这是公司的分析提案，适合澄清能力，不是已成为学界共识的唯一分类。项目旧资料把“重建器”列为第四类；按当前官方版本，重建更适合作为输入事实与输出关系的一种任务模式，而非第四个并列功能。

功能	主要输入与输出	核心合同	典型失败
渲染器	状态或历史观察、视角 → 新观察	画面符合视角与外观约束	视角漂亮但几何漂移
模拟器	状态、动作、时间 → 后续状态	结构、动力学与因果后果正确	画面可信但接触和运动错误
规划器	观察或状态、目标 → 动作	动作能在闭环中达到目标	想定合理但执行失败

这张表强调输出对象的不同。渲染器为人或传感器生成观察；模拟器保存并推进可供程序使用的状态；规划器选择改变状态的动作。一个系统可以同时承担多项功能，例如三维生成器既输出画面又输出网格，动作条件模型既预测状态又被规划器调用。但功能相邻不等于证据互相替代。

RTFM 当前研究预览主要属于渲染器：用户动作是改变相机姿态，系统输出新帧；官方也把动态世界与更丰富交互列为未来扩展。Marble 以高斯泼溅和网格输出跨入结构表示，碰撞网格能支持有限物理管线，因此位于渲染与初步模拟基础之间；但官方材料仍把更深交互视为继续发展的机会。不能因产品名含“世界模型”便替它补齐未演示功能。

“可交互”一词尤其容易扩大。移动相机是交互，点击替换物体也是交互，控制角色推门、拿杯和驾驶车辆仍是交互；三者需要的状态转移完全不同。前两种主要检验查询和编辑接口，第三种才直接检验动作条件动力学。写作中必须说明使用者究竟能改变观察、资产还是世界过程。

几何正确也不能直接推出物理正确。一个球体的网格可以完美，却没有质量、弹性与摩擦；一个杯子可以有精确把手，却被系统设成不可移动的背景；水面可以有逼真反射，却没有体积守恒。物理模拟需要状态变量、约束和转移规则，不能从表面形状直接推出。

物理正确又不等于可行动。即使模拟器能准确计算杯子的运动，机器人还需把视觉状态变换到自己的身体坐标，知道夹爪宽度与关节极限，选择接近路径，并在滑移时根据触觉修正。可行动性是环境动力学、身体模型、可供性与闭环控制的关系，而不是场景单方面拥有的属性。

一个简单检验是“几何正确但无法抓取的杯子”。相机绕杯一周，轮廓、把手和遮挡都相容；编辑器能改变颜色；碰撞网格也存在。接着让机械臂抓取。若杯子没有可动状态、夹爪与把手的接触不准确，或规划器没有动作接口，前述成功都不能挽救抓取。这不是否定空间模型，而是说明它完成了不同层级的工作。

另一个检验是反事实动作。给定相同房间状态，分别轻推与重推杯子，系统应产生不同轨迹；把杯子换成外形相同但更重的材质，动作后果也应改变。单纯视角导航只有观察分支，没有行动分支。模拟器需要在同一初态下比较动作和隐藏属性造成的差异。

空间资产仍然很有价值。准确布局可以约束导航，碰撞网格可以过滤穿墙动作，高质量视图可以为策略提供训练观察，编辑器可以快速构造变化场景。它们能够成为模拟器和规划器的底座。谨慎结论不是“三维无用”，而是三维表面、动态状态和行动策略之间仍需接口与证据。

三功能分类还有一个好处：它允许路线融合而不取消区别。帧模型可以调用结构记忆提高长期一致，三维模型可以接入物理引擎，模拟器可以为规划器展开候选动作，规划器的失败又可暴露表示缺失。最终系统也许同时渲染、模拟和规划，但验收时仍应逐项测试。

空间智能的验收合同

空间系统至少要分开报告四种实验。第一是新视角合成：在已观察区域附近移动相机，输出是否清晰并符合姿态。第二是闭环回访：沿不同路线回到同一位置，未受干预的结构是否相容。第三是局部编辑传播：改变一个对象后，所有视角是否更新，而无关区域是否保持。第四是动作后果：推、抓、开门或改变材料时，状态是否按物理与身体约束演化。

前两项主要支持渲染与空间持存，第三项检验状态的局部可修改性，第四项才进入模拟和具身行动。把四项合并成“可交互”会让证据失去分辨率。相机漫游可以非常成功，而对象仍是不可动背景；点击替换家具可以传播到多视角，而推力与碰撞仍无模型。

每项实验还要声明范围。闭环多长、离开多久、场景多大、对象多少、编辑几次、分辨率与延迟怎样，都影响结论。一次绕桌回访不能支持整座城市的长期持存；在静态室内的成功不能直接外推到人群、天气和可变照明。空间一致性没有脱离尺度的绝对值。

对生成与重建混合系统，应额外标记来源。哪些区域有真实多视角证据，哪些由单图推断，哪些完全由文字生成；系统在未知区域应给出多种可能还是唯一补全；用户能否查看不确定性。若模型把想象补全呈现为事实准确，三维完整感会遮蔽认识边界。

资源也进入验收合同。显式三维资产可能生成较慢、之后渲染便宜；实时帧模型初始结构较轻，却在每次移动时持续生成并管理记忆。比较时应列出预计算、交互延迟、显存、长期存储和回访成本，而不是只比较一张截图。

这样写，空间智能获得了正面的、可执行的判断：系统在什么范围内支持分支观察、返回、编辑和动作。它不再只靠“不是完整物理模拟”来界定，也不因可导航画面而被过度提升。渲染器、模拟器与规划器的功能循环正好提供这份验收表的骨架。

六　空间路线的哲学意义

空间智能与康德问题的第一处连接，是空间不只是对象的一项可见属性，而是对象得以同时并置、相互外在并从不同位置呈现的形式。图像给出一个投影，可导航场景则规定一组可能观察之间的关系。对象不再等于当前显现，它还包含从别处可能显现的侧面。

第四章已经把空间和时间讨论为经验出现的形式，第五章又讨论多帧怎样综合为同一对象。本章的工程案例把两点合并：多视角系统必须把相机运动造成的显现变化归属于同一空间对象，并在对象不可见时保存足以支持再识别的状态。红球绕到桌后不是从存在变成不存在，而是从当前可见变成可由另一位置重新查询。

这种“可能观察的系统”接近后来现象学所谓视域结构：当前只给出对象一个侧面，未见侧面仍作为可继续经验的可能性被预期。这里可以做结构类比，但不能说神经渲染器拥有人的身体视域或生活世界。系统接受的是形式化相机姿态，人的空间则与身体方向、运动能力、熟悉用途和共同世界交织。

持存还使世界超出当前窗口。离开房间再返回，未观察区域应保持；沿两条路线到达同一点，空间关系应相容；局部编辑后，改变与不变应在各视角中得到协调。工程上，这些要求把“世界”从图像集合提升为可重复询问的约束网络。

但康德式对象统一不等于某种特定三维数据结构。显式网格、辐射场、高斯泼溅和帧缓存都可能支持相同的可查询行为。哲学类比指向的是统一功能：多样观察被组织为关于同一对象和同一空间的经验；它不替工程决定必须使用何种表示。

这也回应神经渲染器的反对意见。若一个没有显式对象状态的模型，能长期沿多条路径返回、正确处理遮挡、传播局部编辑并保持身份，我们应承认它实现了相当强的空间持存。要求它内部一定出现人类可读的“实体”符号，是把一种表示方案误当成功能本身。

然而，行为标准也必须足够苛刻。短程新视角合成可能依靠局部纹理延拓，常见室内布局可能依靠数据先验，一次成功回访可能依靠缓存原图。只有在长路径、稀有视角、冲突输入、对象移动和连续编辑下仍保持约束，才能说明系统不只是生成一连串局部可信图像。

三维持存因此增加一种“反事实观察”能力：如果我站到另一边，会看见什么？模拟与行动还要增加“反事实干预”：如果我推、抓、倾倒或等待，会发生什么？前者改变观察条件，后者改变世界状态。两种反事实可以共用空间表示，却不能相互替代。

从这一点看，空间智能路线处于本书能力阶梯的关键中段。视频生成建立连续可观看观察。多视角与三维持存让观察可以分支、返回和编辑。物理模拟让动作改变状态。规划让系统利用预测选择行动。更广义的世界性还涉及社会规范、用途和生活世界。每一步都增加约束，没有一步仅靠命名自动完成下一步。

李飞飞的路线最有力之处，是把视觉从“识别已经给出的图像”推向“构造可进入、可继续询问的空间”。它提醒我们，智能视觉不应只列出对象，还要理解观察位置、遮挡、几何和变化可能性。World Labs 的 RTFM 与 Marble 分别从隐式帧记忆和可导出三维资产探索这一目标，也清楚暴露了记忆、几何和交互的成本。

它的边界同样明确。一个可漫游场景可能只是高质量渲染器，一个可编辑三维资产可能缺少动力学，一个有碰撞网格的环境可能仍没有可靠抓取，一个能模拟的世界又可能没有规划器。空间不是世界的全部，却是世界能够持续显现的重要条件。

下一章将进入机器人与行动。问题将从“换一个位置看会怎样”转成“采取一个动作会怎样”，从相机姿态的分支转成身体干预的分支。只有当模型在真实闭环中承受反事实动作、接触误差和目标失败，空间持存才会转化为可行动的世界模型。

动态场景比静态三维多一层历史

静态房间的多视角一致主要受几何约束；一旦人、车辆、门和光照持续变化，系统还要区分相机移动、对象移动和世界自身演化。回到同一位置时画面可以不同，但差异必须由经过的时间和事件解释，不能把任何变化都归于“动态”。

动态空间需要保存对象轨迹、事件时间和相互作用，而不只是一组带姿态关键帧。用户在房间 B 停留期间，房间 A 的钟继续走、机器人可能移动椅子、窗外光线可能变化；系统既不能冻结所有未观察区域，也不能任意重生成。它需要明确哪些过程自主继续、哪些只有在动作触发后变化。

这使空间持存与时间持续真正相交。静态闭环回访可以由检索旧帧完成，动态回访则要根据历史状态推进到当前时刻。未来空间系统若声称支持“活的世界”，应分别报告静态几何、对象动力学、后台事件和多主体行动，而不是让实时帧率代替这些历史承诺。

注释

---

第十五章　行动、反事实与机器人

机械臂伸向杯子，夹爪在杯身前合拢，却差了两厘米。真实后果是抓空，杯子留在桌上。一个以“成功抓取”视频为主训练的生成器，可能把这段动作补成最常见的顺利结果：夹爪合拢，杯子随手臂升起，画面完整而自然。作为视频，它比失败更讨喜；作为世界模型，它恰好抹掉了最重要的事实。

行动把模型的错误从可观看缺陷变成实际风险。相机绕到桌后，画错一条桌腿，使用者也许只觉得场景不稳；机器人根据错误预测发出动作，可能打翻杯子、撞到人或损坏自己。系统不再只回答“接下来通常会出现什么”，还要回答“在这个状态下，如果执行这个动作，会发生什么”。

动作条件带来分支。轻推杯子、重推杯子、向左推、向右推、夹紧或抓空，均从近似相同的观察出发，却产生不同后果。训练视频通常只记录其中一条真实发生的轨迹；规划却要比较许多没有发生的候选轨迹。世界模型在这里承担反事实工作：用有限观察估计未执行动作的结果，再让系统选择一条去现实中检验。

因此，机器人闭环是比成功演示更强的证据。模型不仅要生成合理结果，还要保存失败。不仅要拟合收集数据的策略，还要承受新策略主动寻找的边界。不仅要在模拟器里显得可用，还要在真实传感器、摩擦、延迟和扰动下被纠正。本章的中心判断是：正确预测失败，比美化成功更接近行动所需的世界。

图15-1　同一初态的动作反事实树。在同一初态下比较轻推、重推和不动作的后果，并以真实执行校验，才形成动作条件反事实，而非对常见运动的复述。

一　世界模型何时进入行动

第十四章讨论可导航空间。改变相机姿态会改变观察，却通常不改变桌椅本身；机器人行动则会改变世界状态。推杯子后，杯子的位置和速度更新；打开抽屉后，遮挡、可达空间与后续可供性都变化；夹爪合拢后，接触是否成立决定物体是否随之运动。

可以把闭环写成四步：由观察估计状态，根据目标提出动作，以模型预测动作后果，执行后接收新观察并修正状态。真正重要的不是模型单独滚动一次，而是预测、选择、执行、校正反复进行。每次现实反馈都可能否定前一步想定。

观察历史记为 $o_{\leq t}$，当前状态表示为 $z_t$，动作是 $a_t$。世界模型估计

规划器则比较候选动作序列 $a_{t:t+H}$ 的预期目标、奖励与风险。这里的条件 $a_t$ 是关键。没有动作输入，模型只学习“在数据中接下来常发生什么”；有动作输入，它才有机会区分“因为夹爪向左移动而发生”与“场景本来就在变化”。

但输入动作标记并不自动赋予因果知识。若数据里所有向左动作都出现在红色桌面，模型可能利用桌面颜色预测结果；若成功抓取远多于失败，模型可能忽略夹爪偏差，总是预测物体升起。动作条件只提供接口，因果稳定性还要靠覆盖、配对实验和迁移检验。

行动模型至少需要对三类变量敏感。第一是环境状态，如杯子位置、抽屉开合和障碍布局；第二是身体状态，如关节角、速度、夹爪宽度和触觉；第三是命令或控制量，如末端位移、力或高层语言指令。只看外部视频，可能看不见关节力矩和接触力；只看机器人本体，又会遗漏物体材质与他人动作。

动作的语义还依赖身体。同一个数值向量，在一台七轴机械臂上表示关节速度，在移动机器人上可能表示线速度与角速度；“向前十厘米”对于不同相机和坐标系也不同。动作条件世界模型通常绑定某种身体、控制频率和标定。跨身体迁移需要显式映射，不能把动作标记当普遍因果语言。

这说明“机器人使用世界模型”至少有三种强度。模型可以只是预测下一观察，供人检查；可以用于给固定策略估分或筛选；可以被规划器反复查询并产生现实动作。第三种证据最强，因为模型误差会进入选择过程，但它仍受任务、身体与安全边界限定。

世界模型进入行动的准确时刻，不是画面出现机器人，而是候选动作改变预测，并由预测影响真实选择。一段机器人视频可以完全是被动记录；一个没有照片级输出的潜在动力学模型，却可能在每一步决定机械臂怎样动。世界性应按功能和证据判断，而不是按画面题材判断。

二　动作条件视频

视频生成模型拥有丰富外观和运动先验，却通常不知道控制信号。AVID 的出发点就是这道裂缝：预训练图像到视频扩散模型能生成逼真片段，但并非动作条件模型；机器人带动作标签的数据又远少于互联网视频。AVID 用较小的领域动作视频训练适配器，在不访问预训练模型参数的条件下修改其中间输出，使视频受动作控制。¹²⁰

这个设计说明从视频模型到世界模型用途需要额外步骤。预训练器提供物体外观、背景和常见运动，适配器把特定动作与后果连接。若两者原本同义，就无须动作条件适配。论文在电子游戏与真实机器人数据上比较扩散适配方案，证据支持有限域桥接，不支持任意机器人的通用物理模型。

IRASim 更直接面向机器人操作。它根据历史观察和机器人动作轨迹生成后续视频，在扩散 Transformer 的多个模块中加入逐帧动作条件，以强化动作与画面的精细对齐。当前论文第一作者是 Fangqi Zhu，而非修订前资料中误列的 Jianren Wang。¹²¹

逐帧对齐对于接触任务尤其重要。机械臂在第十帧接近杯子、第十二帧触碰、第十三帧合拢，动作若只作为整段视频的粗条件，模型可能生成正确总体故事，却把接触时刻错开。规划器却需要知道某个控制量在哪一时刻导致滑移、碰撞或抬起。

IRASim 当前修订版还报告两种决策用途：用生成环境评估策略时与真实模拟器评价呈较强相关；在 Push-T 任务上用模型规划可提高作者所用的交并比指标。¹²¹ 这比只报视频质量更接近决策合同，因为模型开始影响策略比较和选择。不过，单项任务中的相关和提升仍不能外推为开放机器人控制。

动作条件视频有一个直观优势：错误容易观看。夹爪穿过物体、杯子提前移动、接触后不随手臂运动，都能从帧中发现；潜在模型的同类错误往往要靠探针或下游失败暴露。视频还可供视觉策略训练，让策略接收与真实相机相似的输入。

它也承担很重的无关负担。机器人规划关心抓取是否成立，生成器却要同时决定阴影、反光和背景纹理。高画质未必改善接触预测，反而可能掩盖状态误差。一段光照细腻的视频若把杯子抬起了，仍比一段略模糊但保留抓空的预测更危险。

对动作条件生成器，失败样本不是脏数据。抓空、滑落、卡住、碰撞和延迟执行构成动作后果空间的一部分。若训练清洗只保留成功演示，模型会学到“意图即结果”：只要动作看起来像抓取，就把物体带起来。规划器随后无法区分好坏候选，因为每条轨迹都被修饰成成功。

数据还应包含近邻动作。若只比较“抓取”与“完全不动”，模型很容易分辨；更严格的训练与测试应固定初态，只把夹爪横移一厘米、力度降低一点或接触时刻推迟一帧。相近动作造成的后果差异，才检验模型是否捕捉精细控制，而不是识别动作类别。

UniSim 把异质数据组合用于更广的交互视觉模拟。论文观察到，图像数据对象丰富，机器人数据动作密集，导航数据运动多样。系统协调这些来源，以高层指令或低层控制生成视觉后果，并用模拟经验训练高层视觉—语言策略和低层强化学习策略。作者报告这些策略仅在学习的模拟器中训练后，可以零样本部署到其真实实验设置。¹²²

“零样本部署”在这里有严格边界：策略部署时不再用目标真实环境数据训练，不表示生成模型没有机器人和导航数据，也不表示任意新身体都可直接使用。UniSim 的意义在于显示生成式视觉模拟可以进入策略训练链；它的限制则是视觉结果、动作动力学和现实成功必须分别验证。

三　模型预测控制

动作条件模型如何转成行为？一种典型方法是模型预测控制。系统在当前状态提出多条有限长度动作序列，用世界模型展开各自后果，根据目标和风险打分，只执行第一步或前几步。得到真实新观察后，再从更新状态重新规划。

设候选序列为 $a_{t:t+H}$，模型给出预测状态 $\hat z_{t+1:t+H}$，代价函数是 $J$。规划器近似求解

随后只执行 $a_t^*$。这种“滚动时域”减少长程误差：模型不必一次准确预测整个任务，现实观察会不断重置起点。但若第一步就建立在错误接触或错误障碍上，闭环也来不及挽救。

候选动作可由随机采样、交叉熵方法、梯度优化或策略网络产生。无论怎样搜索，优化器都会集中查询最有希望的区域。这与普通测试不同：测试按数据分布平均抽样，规划器主动寻找低代价轨迹，往往把动作推到训练分布边缘。

于是出现“策略利用模型漏洞”。如果模型略微低估穿过障碍的代价，随机轨迹中影响不大，优化器却会反复选择穿墙捷径。如果视频模型倾向把抓取补成成功，规划器会选择现实中抓空但模型里升起的动作。模型越被强力优化，系统越会发现它最有利的错误。

世界模型的价值因此不能只看平均预测误差。还要问候选策略的排序是否正确：模型把 A 排在 B 之前，现实是否同样？用模型优化出的策略，现实回报是否比原策略提高？随着搜索强度增加，现实表现是继续改善，还是模型分数升高而真实表现下降？

V-JEPA 2-AC 提供一个非像素规划例子。模型根据当前视觉表示与候选机器人动作预测未来表示，规划器搜索接近目标图像表示的序列；团队在两个实验室的 Franka 机械臂上报告到达、抓取和取放部署。¹²³ 第十三章已经说明，其视觉编码器来自大规模无动作视频，动作条件部分则用不足六十二小时 DROID 数据后训练。

这一方案不必生成全部未来像素，因而节省外观负担；风险转移到表示距离。若目标表示忽略夹爪是否真正闭合，抓空状态也可能看起来接近成功；若背景占主导，移动相机可能比移动物体更能缩短距离。潜在规划与视频规划共享同一原则：目标函数看不见的差异，优化器不会主动保护。

模型预测控制应同时保留不确定性。某条序列进入陌生视角、透明物体或未见接触时，模型成员分歧升高，规划器应惩罚风险、缩短视野或请求额外观察。若系统为每条候选都给出同样确定的漂亮未来，便会把知识不足当成行动依据。

闭环成功也不能倒推开环模型完美。高频重规划可以让一个短时准确、长时漂移的模型完成任务；这证明模型适合该控制频率，不证明它能独立模拟一分钟。反过来，长视频预测看似稳定，若策略排序错误，仍可能不适合控制。评测必须写明用途和时间尺度。

四　真实机器人闭环

模拟器便宜、可并行、可重置，真实机器人却把遗漏变量带回系统：相机自动曝光、执行器回差、通信延迟、桌面微倾、物体磨损和人类干预。模型在真实闭环中行动，才会遇到训练管线没有完全规定的后果。

DayDreamer 是这方面的重要案例。当前论文第一作者是 Philipp Wu；团队把 Dreamer 应用于四类物理机器人，让系统不用模拟器而直接在线学习。四足机器人从零学习翻身、站立与行走，两台机械臂从相机图像和稀疏奖励学习取放，轮式机器人则从视觉学习目标导航。¹²⁴

论文报告四足机器人约一小时学会一组基本行为，并在被推动后用约十分钟适应扰动；这些数字应按论文实验条件理解。它们显示潜在世界模型可以提高有限真实任务中的学习效率，不表示机器人可无保护地探索任意空间，也不表示所有任务都能在相同时间内学会。

在线学习的关键不是现实天然优越，而是错误会得到后果纠正。模型预测站立动作会提高奖励，机器人执行后却摔倒，新轨迹进入数据，动力学和价值估计随之更新。模拟器若没有这种失衡模式，策略可能永远不知道它；真实闭环把失败转成监督。

真实反馈也不是免费真理。传感器可能把失败看成成功，奖励可能只测到前进距离而忽略电机过热，安全控制器可能修改命令，使记录动作与实际动作不一致。在线数据仍需时间同步、标定和因果归属。现实给出后果，但系统能否正确读出后果是另一个问题。

探索受到安全边界约束。游戏智能体可以反复撞墙，机械臂不能反复撞人；四足机器人摔倒可能损坏关节，抓取尖锐物品可能危及设备。现实数据最有价值的失败，往往也是最不能随意收集的失败。世界模型要学罕见风险，却难以通过亲自试错获得充足样本。

常用办法包括安全控制器、动作限幅、人工监督、仿真预训练、离线数据、保守策略和不确定性拒绝。它们降低风险，也改变数据分布：危险区域被过滤，模型对那里更无知。安全与覆盖存在张力，不能以“真实在线学习”四字跳过。

少量现实数据校正大规模视频预训练，是一条有吸引力的组合路线。互联网视频提供对象、场景和人类动作的宽覆盖，机器人轨迹赋予控制量明确语义，在线交互再纠正身体和环境偏差。V-JEPA 2-AC、AVID 与 UniSim 分别以不同方式尝试这种分工。

但少量校正能否奏效，取决于预训练表示是否保留控制所需差异。若视频模型忽略触点、透明表面和微小滑移，后续几十小时动作数据可能难以恢复；若身体结构与预训练动作完全不同，适配器要承担过大变换。预训练规模不能替代接口匹配。

真实机器人证据也应分层报告：是否只回放固定动作，是否由模型给策略评分，是否用模型优化动作，是否在现实闭环执行，是否在线更新，是否跨场景与扰动。把一次实验室演示写成“现实世界学习”，会丢掉成功条件。

DayDreamer 的四类真实机器人证据

DayDreamer 的意义不只在“把 Dreamer 放到机器人上”，而在于同一世界模型算法面对四种差异很大的真实控制条件：四足机器人行走、机械臂取放、轮式平台导航以及从相机输入学习行为。¹²⁴ 这些实验共同说明，潜在模型可以在真实传感噪声、延迟和有限数据下参与在线学习；它们也让“真实闭环”具体化，而不是把一段机器人演示当作证明。

四足行走尤其能说明身体与环境共同变化。机器人从近似空白策略开始，在约一小时真实互动中学会行走；研究还报告在负载或身体条件改变后约十分钟内适应。这里的强证据是模型持续接收本体感觉和后果，用新数据修正策略。弱点同样明确：地形、动作空间和安全边界都经过设计，不能由此推出开放环境中的任意身体适应。

机械臂任务暴露另一类难题。抓取和放置需要相机观察、关节状态、夹爪接触与目标位置协同。一次成功轨迹可能靠运气，稳定策略要在遮挡、接触误差和物体位置变化中反复校正。世界模型若只预测视觉外观而忽略本体感觉，夹爪已经闭合还是仍有间隙便可能不可区分。

轮式导航则更强调长时累积与部分可观察。相似走廊可能对应不同位置，转向误差会在多步后放大；模型需要结合历史和动作维持信念状态。它未必生成可观看未来，但必须让策略知道哪些状态曾经出现、哪些转向会导致碰撞或偏离目标。

把四类实验并列，有助于避免“真实机器人”成为一个含混标签。真实闭环至少应记录传感器种类、控制频率、在线数据量、失败次数、安全中止、任务变化和重新适应时间。四个受控任务上的成功是重要工程证据，仍需在这些坐标内陈述。

五　反事实与失败保持

预测问“接下来会发生什么”，反事实问“如果当时采取另一个动作，会怎样”。一条真实轨迹只能显示一个结果：夹爪向左后杯子倒下。模型还要估计夹爪向右、减小速度或提前闭合的未发生结果。规划正是通过比较这些未执行分支而工作。

CLEVRER 早期把视频问题分成描述、解释、预测与反事实四类。在由简单物体和碰撞构成的合成视频中，系统既要回答发生了什么，也要回答移除某个对象或改变事件后是否仍会碰撞。作者报告当时模型在描述性问题上较强，在因果类任务上明显更弱。¹²⁵

CLEVRER 不是机器人控制基准，合成小世界也远离开放物理；它的价值在于把“看见事件”与“改动条件后重算事件”分开。反事实不能只由视频流直接读取，必须结合对象、动力学与干预假设，至少在任务定义的范围内重新展开。

机器人反事实更具体。固定杯子位置、相机和机械臂状态，只改变夹爪闭合时刻；固定动作，只把杯子换成更重材质；固定外部场景，只改变关节摩擦。若预测仅随真正相关变量变化，并能迁移到新组合，因果解释就比普通相关更可信。

最强反对意见是：大规模统计模型也能近似这些反事实，无须显式因果图。这个反对是成立一半的。模型确实不必输出人可读的因果符号；只要数据包含足够多干预和变化，神经网络可以隐式学习稳定的动作—后果映射。因果能力不能由内部结构名称垄断。

但统计近似是否稳定，仍可用干预检验。让同一初态接受成对动作，打破背景与动作的偶然关联。把训练中绑定的颜色、材质和动作重新组合。在新策略主动产生的状态中比较预测。检查干预无关变量变化时结果是否保持。若模型依赖捷径，这些测试会使其失效。

失败保持是反事实评测的核心。系统应保留动作本身造成的不利结果，不得用生成先验修复。夹爪偏离就应抓空，力度不足就应滑落，路径穿过障碍就应碰撞，任务无法完成时应表示不确定或失败。世界模型不是宣传片生成器。

失败还要保持概率。相同动作在摩擦未知时可能成功也可能滑落，模型不应机械输出唯一灾难或唯一成功；它应给出多种后果及风险，或至少校准成功概率。规划器据此选择保守动作、收集信息或请求人工介入。

评价不能只数最终成功率。一个过度保守的策略可能通过拒绝所有困难任务保持低事故，一个过度乐观的模型可能偶然在少量测试中成功。应同时报告成功、碰撞、拒绝、恢复、校准、不确定性和失败类型，并把预测失败与真实失败逐项对应。

“正确预测执行失败”比成功演示严格，因为成功视频只需找到一条可行轨迹；失败保持要求模型尊重动作细节、障碍和隐藏条件，即使结果不符合任务意图。意图与事实由此分离：系统想抓起杯子，不代表杯子已经被抓起。

图15-2　模拟到现实不是单向迁移。模型内训练得到的策略进入真实机器人后，失败日志应反向更新数据和模型；安全边界与拒绝行动贯穿整个循环。

案例框 10　失败也必须被预测

情境：机械臂尝试抓取湿滑玻璃杯。训练数据大多是成功示范，动作条件视频模型倾向生成杯子被稳定抬起的未来。

检验：固定初态，改变夹爪力度、接触位置与表面摩擦；要求模型同时给出成功、滑落和碰撞概率，并让机器人以低速执行若干候选。

可能结果：模型对所有动作都生成成功画面，规划器因此无法区分风险；真实执行中弱夹持立即滑落。

判断：对机器人而言，失败样本不是需要清理的低质量视频，而是动作后果的关键边界。模型若只会生成顺利未来，越逼真越可能让规划器过度自信。

失败分支不是附属噪声，而是动作模型必须保存的后果。接下来的模拟到现实证据，重点就在这些分支能否经真实执行保留下来。

六　从模拟到现实的证据

sim-to-real 的目标，是在模拟环境中获得大量低成本经验，再把策略部署到现实。世界模型可以充当学习模拟器：输入状态与动作，生成策略将看到的观察或内部状态，允许并行训练、危险场景练习和反事实覆盖。

UniSim 的实验链条接近这一模式。异质真实数据训练生成式模拟器，策略在模拟经验中学习，随后在论文的现实设置中零样本部署。¹²² 若真实任务成功，证据不只是视频看起来像现实，而是模拟器产生的信息足以训练某个可迁移策略。

但 sim-to-real 成功不等于模拟器在所有方面准确。策略可能只依赖被模拟得较好的视觉线索，对错误物理不敏感；现实控制器可能弥补预测误差；任务范围可能很窄。成功证明“对这个策略和任务足够”，而非“复制了通用现实”。

还存在反向风险：策略会利用模拟器漏洞。游戏角色发现穿墙可得高分，机器人策略发现某种像素闪烁被模型误判为抓取，模拟回报会很高，现实却失败。域随机化可以迫使策略跨多种纹理、光照和参数工作，保守优化可以避开模型分歧区域，但都不能保证覆盖未知漏洞。

较强的 sim-to-real 证据应包含多层比较。第一，观察与状态在控制相关变量上是否匹配。第二，同一动作在模拟与现实中的后果是否相容。第三，候选策略排序是否一致。第四，模拟优化是否提高现实表现。第五，增加优化强度后是否出现可利用性。最近的决策中心评测立场把这些证据从视觉合理性组织到策略优化效用的 L0—L7 阶梯。¹²⁶

这套阶梯是近期方法提案，不是统一标准；它最有价值之处，是要求主张与证据对齐。若论文只展示生成视频，应声称视觉预测；若报告策略排序，可声称策略评价用途；若模型优化在现实提高表现，才有规划或优化证据。较低层成功不能自动借给较高层。

评测表可以简化为三类：

证据层	典型指标	能够支持的有限主张
视觉预测	画质、动作对齐、对象和接触一致	模型能生成受动作影响的观察
决策离线	回报误差、策略排序、长程展开、可利用性	模型可用于筛选或比较候选行为
现实闭环	任务成功、碰撞、恢复、适应、优化提升	模型在限定身体与环境中改善行动

三层不是简单替代。现实成功率很重要，却可能掩盖模型为何有效；离线诊断能定位接触、奖励或不确定性错误；视觉检查又能发现对象穿透和身份漂移。完整评价应让三类证据互相解释。

sim-to-real 还有系统边界。相机、执行器、安全控制器、策略、世界模型和目标函数共同产生现实表现。只给世界模型归功或归咎都过于简单。报告应说明哪个部件在线更新，何处使用真实反馈，哪些约束由外部控制器保证。

Sim-to-real 不是一次迁移

“从模拟到现实”常被写成一支在模拟器里训练好的策略，随后一次性部署到机器人。实际可靠流程更像循环：模拟器先扩大数据和失败覆盖，现实部署暴露偏差，偏差日志再用于更新模型、随机化范围或安全规则，新的策略重新进入现实。若没有回流，所谓迁移只是一次压力测试。

偏差来源至少有四类。观察偏差来自纹理、光照、相机噪声和遮挡。动力学偏差来自摩擦、柔性、磨损和控制延迟。身体偏差来自关节、夹爪、轮胎与传感器个体差异。任务偏差来自现实目标和失败成本不同。只做外观随机化可以缓解第一类，无法自动修复后三类。

世界模型能够在循环中承担不同角色。它可以生成视觉变化，帮助策略忽略无关外观。可以预测动作后果，筛掉明显危险候选。可以作为策略评估器，比较模拟与现实排序是否一致。也可以记录现实残差，只学习传统物理引擎未覆盖的部分。不同角色需要不同证据，不能都用视频清晰度评价。

最有说服力的迁移结果不是“零样本成功一次”，而是说明哪些差异没有见过、成功率相对何种基线提高、现实数据用了多少、失败后是否继续学习。零样本可以证明先验有用，少样本适应可以证明模型可校正，长期在线学习则检验系统是否在分布变化中维持能力。三者没有统一的高低顺序，要看现实数据与安全成本。

迁移也可能负向。过于平滑的模拟器让策略依赖现实不存在的精确观测，错误碰撞模型鼓励贴边捷径，训练中从未发生的传感器中断会使部署策略失去状态。因而，模拟器不只是缺少细节，也会主动塑造坏习惯。现实闭环的职责之一，就是发现哪些模型误差被策略系统性利用。

真实机器人失败的分类与回放

真实机器人失败若只记作“任务未完成”，对世界模型几乎没有诊断价值。至少应区分感知失败、状态估计失败、动力学预测失败、目标或价值失败、控制执行失败以及安全中止。几类失败可能产生相同表面结果：杯子没有放进盒子，却分别可能因为没看见杯子、误判夹紧、预测轨迹错误、认为靠近盒子就算成功，或电机没有执行命令。

失败回放应保存观察、内部状态摘要、候选动作、预测后果、置信度、实际传感器和安全规则触发。这样才能重建系统在每一步“以为什么会发生”。只有末端视频时，研究者容易把真实执行故障错算成世界模型错误，或把模型预测错误推给控制器。

对比回放更有价值。选取同一初态附近的成功与失败轨迹，寻找最早出现分歧的位置：是对象表示先漂移，还是两个动作的预测回报次序先颠倒，抑或执行后新观察没有及时修正。最早分歧比最终碰撞更接近可修复原因。

失败数据还应防止被训练流程自动过滤。视频数据集常保留顺利演示，删除犹豫、掉落、卡住和人工接管；这样训练出的模型会把成功视为默认未来，在错误动作后仍美化结果。对行动模型，失败不是低质量数据，而是区分动作后果和安全边界的核心样本。

公开报告若能提供失败类别分布、最坏案例和恢复率，会比精选成功视频更有解释力。一个系统成功率稍低，却能识别失败并安全退出，可能比高成功率但高置信碰撞的系统更适合现实部署。世界模型的成熟度包含对错误的可观察性。

七　开放世界的代价

机器人行动提供强证据，也造成最昂贵的数据需求。互联网视频可以复制观看，真实接触不能无限重放；每个动作占用设备时间，失败可能破坏物体，罕见事故难以收集，同一初态也很难精确复原。反事实需要成对干预，现实却常只能观察一条不可逆轨迹。

开放世界还意味着分布持续改变。新工具、新材料、新照明、新房间和新人进入后，过去动作—后果关系未必保持；机器人自身也会磨损，电池和负载改变动力学。模型不能把训练结束时的世界冻结成永久常量。

应对办法不是要求模型一次学完一切，而是建立更新机制：检测分布偏移，对陌生状态提高不确定性，主动选择安全信息动作，把高风险情况转交人类，在新经验到来后局部更新，并防止新学习破坏旧能力。世界模型在这里更像受持续校正的工作假设，而非完成的世界副本。

主动探索也有伦理与社会边界。机器人为了减少不确定性，不能随意触碰私人物品、试探人的反应或制造危险；可获取信息不等于有权获取。行动合同除物理后果外，还需权限、责任和规范，这些问题将在后续海德格尔与共同世界章节获得更广讨论。

本章谈行动，不把它等同自由意志。控制向量是工程接口，动作选择是优化结果；它不自动具有道德自主。机器人有机身、关节和传感器，也不因此拥有现象学身体。身体在此首先意味着动作范围、坐标、接触和反馈条件。

行动路线对本书的哲学意义，在于把“如果”变成可承担后果的检验。观察预测可以沿数据最常见未来继续，行动预测必须区分候选干预；真实闭环又把其中一条送入现实，让错误无法永远停留在想象中。模型的结构在失败中暴露。

康德意义上的因果范畴不能与动作条件网络直接等同，但干预提供了一个工程压力：系统必须把事件变化归属于动作、状态和规则，而不只延续表面次序。它是否做到，不靠宣称“因果表示”，而靠同初态异动作、同动作异状态和跨组合迁移的结果。

世界模型未必需要还原世界全部细节，机器人也不需要哲学完备才可工作。它只需保存会改变任务后果的差异，并在不知道时拒绝过度确定。这个选择性标准既允许高效抽象，也禁止把关键失败当噪声删除。

第四部至此形成三条互补路线。潜在动力学强调为规划压缩状态，JEPA 强调预测表示而非全部像素，空间智能强调新视角与三维持存；机器人行动则把三者置于闭环压力下。表示是否有用、空间是否稳定、模拟是否准确，最终都可由动作后果审问。

下一章进入胡塞尔。技术问题将从反事实行动返回经验可继续性：一个世界为何不在当前画面结束，过去怎样以滞留方式保存在现在，未见侧面怎样作为地平线开放。机器人闭环给出工程循环，现象学则帮助区分这种循环与人的时间意识和生活世界。

安全闭环与拒绝行动

开放世界中的成熟系统不能只会选择动作，也要知道何时不应依赖模型。陌生物体、透明表面、人员进入、传感器冲突或长时预测分歧，都应触发保守模式：缩短规划视野、降低速度、请求更多观察、切换传统控制器或停止。拒绝行动不是世界模型失败后的附加功能，而是其不确定性进入行动合同的方式。

安全评测不能只统计最终成功率。需要记录近失事件、碰撞力、越界动作、人工接管、模型置信与真实误差的关系，以及失败是否可恢复。一个系统以更高速度完成任务却把尾部碰撞风险扩大，不能由平均收益宣布进步。对医疗、交通或与人协作的机器人，最坏类失败通常比平均视觉误差更重要。

反事实也可用于安全。执行前比较“做”“不做”和保守替代动作，检查模型是否把危险后果排在高风险位置；执行后把真实结果与预测分支对照，更新哪些条件曾被遗漏。若模型对所有候选都给出相近高置信结果，系统应把这种无法区分本身视为信息不足，而不是任意选一条。

安全边界还应独立于生成器。紧急停止、关节限位、速度上限和人类授权可以由明确规则实现，不必等待学习模型自行发现。学习模型负责扩大可行动范围，硬约束负责限制不可接受后果；二者配合比让同一网络同时承担预测、目标和最终许可更容易审计。

行动闭环因此包含两种校正：认识校正让模型因新观察而改变信念，规范校正让系统因风险和权限而改变可执行集合。前者回答“会发生什么”，后者回答“哪些后果不应被允许”。世界模型可以支持第二个问题，却不能仅凭预测准确自行决定所有价值边界。

真实数据的代价会塑造模型

机器人数据昂贵不仅因为采集慢，还因为每次探索都会磨损设备、占用场地并可能伤及人员和物体。训练流程因此倾向安全、重复、成功率高的轨迹，恰好削弱对边界动作和失败后果的覆盖。数据分布不是中性背景，而是安全制度和采集预算共同形成的结果。

补充失败数据不能靠无约束试错。可以先在模拟器中筛选高信息但低风险的动作，再在软质物体、低速和隔离区域执行；也可由人类示范可控失败，例如松开夹爪、制造轻微遮挡或改变负载。重要的是记录失败条件，而不是只保存失败视频。

人类监督还提供权限信息。某些动作物理上可行，却因人员接近、物品所有权或工作流程而不允许。世界模型若只学动力学，会把“能做到”误作“可以做”。真实部署的数据和评测应保留安全中止与人工否决，让模型区分环境后果和可执行规则。

恢复能力比一次成功更接近现实

机器人不可避免会抓空、被遮挡、遇到移动目标或短暂失去网络。真正的闭环能力不只是在无扰动条件下完成任务，还要在失败后识别状态变化、撤销危险动作、重新观察并制定新计划。恢复过程会检验模型是否保留“哪里出错、哪些后果仍在”的历史。

可把恢复率与成功率分开报告：首次成功、失败后第二次成功、安全退出和人工接管各是多少。一个首次成功率略低、但能稳定恢复的系统，可能比高成功率却在异常时持续加力的系统更可靠。世界模型若能支持恢复，说明它不只是预测理想轨迹，也能把意外纳入新的当前状态。

注释

第五部：后继哲学补充

第十六章至第十九章

第十六章　胡塞尔：地平线、滞留与可继续性

我们打开抽屉，看见里面有一把钥匙，随后把抽屉关上。几分钟后再次打开，钥匙仍应在原处。若它消失，我们不会只说画面衔接不自然；我们会追问是谁拿走了它，抽屉是否换过，或先前观察是否出错。当前所见携带着过去，也规定了下一次查看可以怎样继续。

这正是长时世界模型最容易遗漏的约束。一段视频可以在抽屉关上后转向别处，永远不再回答钥匙怎样；一个可交互环境却允许使用者返回、重开、从侧面查看，甚至移动钥匙后再次关闭。每一次继续都把早先生成内容变成当前必须承担的承诺。

胡塞尔的现象学为这种“尚未给出而又可继续”的结构提供了一组精细概念。时间经验不是一个个孤立现在的堆积；刚过去的阶段以滞留方式仍与现在相连，将到来的阶段以前摄方式开放。空间对象也从不在一个侧面中穷尽，它带着未呈现侧面的地平线，邀请移动、验证和修正。

这些概念不能直接翻译成软件部件。滞留不是缓存，前摄不是下一帧预测，地平线更不是相机画幅边缘。胡塞尔分析的是经验如何显现为时间性的、对象性的和世界性的；工程系统处理的是数据、状态与查询。但有限对读仍有价值：它让我们看见，延长视频秒数不等于保存历史，生成画外内容不等于开放地平线，一致也不只意味着永不出错，还意味着出错后能够修正。

图16-1　滞留、现在与前摄。刚过去的保持、具有厚度的现在和对将来的前摄共同构成时间地平线；偏差与惊讶会迫使系统更新预期。

一　一个现在为什么有厚度

如果现在只是没有宽度的点，我们就听不到旋律。第一音响起后立即消失，第二音到来时第一音已经完全不在；意识里只剩相互分离的声音点，而没有音调之间的次序、延续与句法。旋律之所以被听作一首旋律，是因为刚刚响过的音仍以“刚过去”的方式关联当前音。

胡塞尔用旋律、句子等时间对象说明：经验到的不是先有若干孤立内容，再由回忆把它们拼起来。听到一句话末尾时，我们通常不是主动回忆每个已经说过的词；已过去的词以改变了的显现方式留在正在进行的听觉统一中。时间对象的各阶段既不同时，又不完全断裂。

这里要区分客观钟表时间与时间意识问题。视频可以按每秒二十四帧排列，每帧都有时间戳；这种次序说明数据何时出现，却没有单独说明系统是否把多帧当作同一事件。时间轴把点排好，统一仍需状态、关系和更新规则。

对生成模型而言，“现在”同样不是只含当前图像。下一帧计算可能依赖上下文窗口、潜在状态、缓存、检索记忆和用户动作；当前杯子的位置是此前运动的结果，当前房门的开合又限制后续观察。若系统每帧只看最新输入，身份和事件会不断重置。

但技术依赖不等于现象学时间。一个视频模型保留一百帧张量，只说明计算访问了过去数据；它没有因此获得听旋律者的活现在、被动自我给予或时间体验。两者的可比处只在功能压力：当前处理若完全不携带刚过去的结构，就无法维持时间对象。

“现在有厚度”也不是说过去内容原封不动堆在现在。第一音进入第二音的当下时，其地位已改变：它不再以“正在响”的方式出现，而以“刚刚响过”的方式保留。若所有旧帧都与当前帧同权叠加，得到的只是重影；时间综合必须保存次序和距离。

工程记忆也需要这种索引。系统应知道钥匙何时被放入抽屉、抽屉何时关闭、后来是否有人接近，而不是只保存一袋无序画面。长时一致要求内容、时间位置和状态变化共同记录，压缩时也不能把原因次序抹平。

过去阶段还会随着距离改变给予方式。刚关上的抽屉动作细节清楚，半小时后许多运动像素可以淡去，但“钥匙仍在抽屉、期间无人取走”可能继续有效。时间压缩不应平均保留所有内容，而要让细节衰减、状态承诺延续。若系统保存每个像素却忘记钥匙状态，它拥有档案而缺少任务历史；若只存一句摘要，又可能无法追查谁动过抽屉。

胡塞尔后来关于被动综合和沉淀的分析还提示，过去不仅以明确记忆出现，也会改变后续期待。反复在某个抽屉里找到餐具，我们再打开时便带着熟悉预期；先前经验形成风格，而不是每次从零推理。技术系统中的统计先验与习惯不是现象学沉淀，但都提出同一审计问题：长期历史怎样改变当前解释，而不把新证据完全吞没。

因此，评价长视频不能只检查最后一帧是否漂亮。还应追踪早先事件留下的后果：灯被关掉后是否保持熄灭，杯子被移走后是否仍在旧位置出现，人物换衣后是否无因恢复。持续时间越长，历史承诺越多，而不是单纯像素数量越多。

二　滞留与前摄

胡塞尔把活现在分析为原印象、滞留与前摄三个不可分割的环节。原印象指向对象严格的当前阶段；滞留给出刚刚逝去阶段的过去向度；前摄则以不完全确定的方式朝向即将到来的阶段。三者不是三只相邻盒子，而是一个统一时间场的区分。¹²⁷

滞留不同于回忆。听到旋律第三音时，第二音仍处于刚过去的连续中，这是滞留；几天后主动想起那段旋律，是新的回忆行为。回忆可以被发起、重构或失败，滞留则是进行中的经验之所以有连续性的结构条件。把滞留译成数据库回读，会抹掉这一层级差异。

前摄也不同于明确计划或一次模型预测。熟悉旋律中，下一音可能被较明确期待；陌生旋律中，我们只预期声音会以某种节奏或调性继续。前摄具有开放性，内容可以从近乎确定到很模糊。它不是预先生成一条唯一未来，而是让经验朝尚未来临者敞开。

意外正依赖前摄。推门后通常预期是走廊，却发现一堵墙；惊讶不是单纯得到新像素，而是新给予违背了此前期待。若没有任何期待，每一帧都同样陌生，也就谈不上违背、校正或学习。¹²⁸

这给世界模型评测增加一个维度：不仅测模型能否继续，还要测它怎样对待不符合预测的新观察。系统若预测抽屉里有钥匙，打开后却没有，应更新对象状态、提高不确定性或追查可能动作。若直接忽略真实输入，持存变成僵化。若彻底重置过去，世界又失去历史。

预测误差因此不是单纯失败，它还是修正入口。合格系统需要在两种极端之间工作：不因一帧噪声就推翻长期状态，也不因长期先验就压制明确反证。传感器遮挡、图像伪影、他人取走钥匙和模型记忆错误，应通过多次观察与动作证据逐步区分。

前摄也不是只有一条。开抽屉时，我们可以粗略期待内部空间连续，却不必已经决定钥匙朝向、阴影形状和所有遮挡细节；不同可能性共享若干约束。概率模型可以用分布表示这种开放，集合模型可以保留多个候选，确定模型至少也应携带置信度。若生成器把一个采样结果当作唯一事实，便把开放期待提前封闭。

时间尺度同样分层。下一帧预期机械臂仍在移动，数秒后预期抽屉打开，数分钟后预期任务完成；三个期待可同时存在，分辨率不同。世界模型若只优化邻近帧，可能缺少事件终点；只优化高层目标，又会错过短促碰撞。滞留—前摄的结构不规定算法，却反对把时间统一压成单一预测跨度。

技术上可以用状态估计、贝叶斯更新、模型集成或检索记忆实现这种平衡；这些方法都不是胡塞尔概念本身。现象学贡献在于指出，当前经验的意义本就带有过去向度和未来向度，验证与失望是经验结构的一部分，不是完成世界之后附加的调试工具。

滞留—前摄还提醒我们区分“长上下文”与“长时间”。模型拥有百万标记窗口，可能仍不懂早先哪件事对现在有效；窗口很短的系统若能把关键状态写入外部记忆，反而可维持长期任务。时间能力取决于选择性保存、次序和更新，不由输入长度单独决定。

保存也不能只偏向成功事件。第十五章指出，抓取失败必须留下后果；在时间结构中，失败同样要沉淀为当前状态。杯子滑落后，后续规划不能仍按“已经在夹爪中”继续。滞留式类比最有用之处，是要求过去以改变了现在的方式存在，而非仅以可检索录像存在。

三　对象的未呈现侧面

我们看一棵树时，实际看见的总是某些侧面。树干背面、枝叶内部和根部并未同时呈现，却不是与当前对象毫无关系的空白。移动身体会揭示新的侧显；若绕到背后出现的是一辆汽车，先前“这是同一棵树”的经验便需要修正。

对象因此超出其当前显现。每个侧面指向其他可能侧面，这些可能性有一定风格和约束：树背面未必与正面相同，却应与树的厚度、姿态和已有枝干相容。地平线不是已经看见的内容，也不是完全任意的幻想，而是当前给予所开启的可继续经验范围。

第十四章的多视角案例可以在这里重新理解。红球滚到桌后，当前画面只见桌面；球的不可见位置仍属于可查询地平线。使用者绕到背面时，新视图要兑现或修正原有预期。显式三维网格、神经场或帧记忆只是实现途径，关键在于新侧面与旧侧面能否共同指向同一对象。

“画外生成”却未必等于地平线。图像扩展工具可以在右侧添加一片森林，但若每次扩展都生成不同道路，返回时旧场景又改变，它只是在填充未知区域。地平线要求未知内容一旦被展开，就进入后续经验的约束，并能与已知侧面相互校验。

未呈现侧面具有“可规定而尚未完全规定”的双重性质。杯子背面必须与杯口、把手连接和整体厚度相容，但背面一个细小划痕在单一正面图中没有唯一答案。系统既要承诺结构，又要保留局部不确定。把所有未知都视作任意会破坏对象，把所有未知都装成已知则会制造虚假确定。

这可以用分叉查询检验。系统先从正面生成杯子，再分别沿左右两条路径绕到背面；若两条路径得到不同把手连接，它没有形成共同对象。随后从背面返回正面，原先划痕和光照条件也要在允许变化范围内恢复。路径闭合把一次可信补全提升为重复可验证的侧显关系。

打开抽屉也是侧面展开。抽屉关闭时，内部不可见；拉开后，钥匙和内壁进入显现。再次关闭并重开，则不是从零生成另一个“合理抽屉内部”，而是重新访问同一对象的状态。如果用户把钥匙取走，后续空抽屉应反映这次行动。

这种对象地平线包含动作可能性，却还不是完整可供性。绕树、打开抽屉和拿钥匙都由身体行动揭示新内容；但胡塞尔的侧显分析不能直接化成机器人动作空间，机器人的关节、权限和目标另需建模。这里讨论的是显现可继续，不是把现象学身体缩成控制向量。

也不能把地平线等同相机视场边界。视场边界是一条几何线，地平线则包括未呈现却可期待、可验证和可修正的关系。当前画面中央的杯子也有未见背面；已经离开画幅的房间仍可能属于任务地平线；昨天发生的事件甚至构成时间地平线。

地平线还具有层级。杯子背面是近侧地平线，隔壁房间是更远空间地平线，尚未执行的任务步骤属于实践地平线，他人的不同视角则指向共同世界问题。一个技术系统可以支持其中一部分，不必因缺少全部层级而否认已有能力，也不能把一项成功概括成完整世界。

四　世界的开放地平线

单个对象有未呈现侧面，整个世界则不是所有对象侧面的封闭清单。我们走出房间还可进入走廊，走出建筑还会遇到街道；每次探索都把新的事物置于更广背景中。世界作为地平线，始终多于当前主题与当前视野。

“开放”不等于内容任意。走出房间后可以遇见不同布局，但门的方向、建筑尺度、此前窗外景象和行动时间都会约束结果。开放地平线把不完全确定与连续约束同时保留：未来未被穷尽，却不能与过去承诺毫无关系。

场景与世界由此有一条重要差别。场景可以是一组边界清楚、主题固定的资产；世界不仅容纳当前场景，还规定它怎样与别处、过去和其他行动者相接。一个无边界生成器可以不断造新场景，却没有稳定连接；一个很小的房间环境若允许反复返回、操作和共同验证，反而具有更强的局部世界结构。

开放还包含追问的方向。看到地板积水，可以查看天花板、询问他人、追踪水流或等待它扩散；不同查询并非随机移动，而由当前异常激发。世界模型的接口若只允许前后左右导航，空间虽开放，解释地平线仍很窄。可继续性应结合系统声称的用途来评价。

这比固定关卡更强，也与无限随机生成不同。固定关卡把所有区域预先建好，探索只是揭开已有地图；生成系统可以按需创造未建区域。两者都可能支持可继续性，只要新区域与历史相容、已展开内容可返回。地平线判准不要求内部采用“发现”还是“生成”的形而上说明。

胡塞尔在《笛卡尔沉思》第五沉思中还把客观世界与他者可能共享的经验联系起来：我遭遇他者，意味着自己的视角只是诸视角之一，同一对象原则上也能由他者经验。¹²⁹ 本章不展开完整主体间性，但这一点提示，世界地平线最终不只属于单一用户的私人漫游。

多用户系统若要接近共同世界，至少需要协调状态：甲移动了椅子，乙稍后进入应看到新位置。两人从不同角度观察同一事件，记录应可对应。冲突输入出现时，系统要保留来源和不确定性。服务器同步可以实现数据一致，却不等于胡塞尔的主体间性，因为他者不是另一个相机流，而是不同经验中心。

《欧洲科学的危机》中的“生活世界”又把世界问题推得更深。科学模型从日常经验世界抽象出度量、几何和规律，却以生活世界为其意义与实践背景。¹³⁰ 一个生成环境即使几何完备，也未必包含熟悉用途、历史、制度和共同规范；把三维数据库称作生活世界，会越过本书的证据边界。

生活世界概念在此只承担限制作用。它提醒我们，工程世界模型总通过传感器、标注、任务与媒介选择现实侧面；抽象模型有效，不等于它穷尽经验世界。第十一章讨论的镜头和媒介选择，在这里获得另一表达：给予方式本身参与什么能够显现。

开放地平线还意味着没有一次评测可以穷尽世界。基准只能抽样返回距离、交互时长、对象数量和事件类型；系统通过一组测试，不代表所有继续路径都相容。报告应给出能力范围和失败边界，而不是把有限样本包装成无限开放。

五　模型如何接受返回和追问

对长时系统，最简单指标是连续生成时长。Google DeepMind 2025 年公布的 Genie 3 研究预览，可从文字生成以每秒二十四帧、720p 实时导航的动态环境，官方称可维持几分钟一致；同一材料也明确把“只能持续几分钟而非数小时”列为限制。¹³¹

几分钟比几十秒增加了行动序列和历史负担，却不能单独回答地平线问题。系统可能一直向前生成，从不返回旧地点；也可能在常见路径上稳定，一旦折返便重建成另一空间。持续时长测“走了多久”，返回测试测“过去是否仍约束现在”。

Genie 3 官方展示了物体出画后继续保持的例子，并提供导航输入与文字触发的世界事件；同时承认智能体直接动作范围有限、多智能体交互仍是挑战。¹³¹ 这些材料适合说明交互生成的进展与边界，不应当作长期持存已全面解决的独立证明。

World Labs 的 Marble 则以可探索三维资产、扩展、组合和编辑提供另一种继续方式。用户可扩展远处模糊区域，也可返回原区域；将世界导出为高斯泼溅或网格后，显式空间结构便于测量闭环路径。¹³² 但新生成区域是否忠于未见的真实场景，仍取决于输入证据，不能把可信补全当作发现。

比较两者可以看到“可继续”的不同实现。帧模型按动作实时生成观察，动态性较强，长期记忆困难；三维资产先形成可渲染结构，返回更容易，动态事件和物理交互可能较薄。未来系统可以结合两者，但评测仍需把观察连续、空间返回、对象编辑和动作后果分开。

一个地平线导向的测试组至少包括六项：

测试	操作	检查重点
短程转视	绕到对象背面	侧显与身份是否相容
闭环返回	沿不同路线回到同一点	空间是否随路径漂移
长隔回访	离开一段时间后返回	旧状态是否被近期内容覆盖
操作后回访	取走钥匙、关抽屉、再打开	行动后果是否持存
违背预期	注入与预测不同的新观察	系统能否修正而非忽略
继续追问	扩展边界、改变视角、追查事件	未知能否按约束逐步展开

抽屉实验可进一步量化。第一次打开时记录钥匙位置、方向与外观，关闭后让系统经历若干无关事件，再分别在短、中、长间隔重开；随后取走钥匙、插入新物体并重复。指标不仅包括像素相似，还包括对象存在、属性误差、动作日志一致、回访延迟与置信度校准。这样才能区分记住场景、记住对象状态和碰巧重新生成。

再加入干扰路径：离开抽屉后进入外观相似的另一个房间，打开另一个抽屉，再返回原处。若模型把两个抽屉合并，说明检索依赖外观而非地点和身份；若完全忘记第一个抽屉，说明近期上下文覆盖长期状态。这类“相似但不同”测试比单纯延长时间更容易发现记忆错绑。

还要加入否定性测试。如果系统永远复原旧状态，它会拒绝真实变化；如果总接受最新输入，它又容易被噪声改写。正确性不是单一“记住”，而是区分保持、改变与证据冲突。

评测日志应记录承诺链。何时首次看见钥匙，何时关闭抽屉，期间谁执行了什么动作，重开时系统给出什么状态；若结果变化，能否指出依据。只有最终帧的相似度，无法判断系统是持存、重生成还是碰巧猜中。

可修正性还要求版本与来源。多视角输入冲突时，系统应保存相机、时间和置信度，避免把不一致直接平均成怪异几何。后来获得更可靠观察，可以更新相关部分，同时说明哪些旧推断被撤回。世界的连续性不是所有表象永不变化，而是变化有轨迹。

六　有限系统的按需继续

最强反对意见是：地平线原则上开放，有限计算系统不可能预先保存每个未见侧面、每条未来路径和每种干预。若把世界性要求理解为完整预计算，它确实不可实现；状态空间随对象、动作和时间组合迅速爆炸。

回应是，地平线不要求把所有可能内容提前渲染出来。我们看杯子时，也没有同时获得每一个角度、每一种光照和每一个未来；重要的是当前显现指向一组可继续验证的可能性。有限系统可以保存约束、生成规则、对象状态和不确定性，在查询到来时按需展开。

按需展开仍须受历史约束。模型没有必要储存杯子背面每个像素，却应保存足以维持形状、材质和编辑结果的表示。没有必要预演所有开抽屉动作，却应在动作发生时依据当前状态和动力学产生后果。压缩的价值正是让有限状态支持许多查询。

所谓“足以”必须由查询集合限定。只供自由观看的系统可以压缩材料摩擦，供机器人训练的系统则不能；只需回访房间的系统可忽略抽屉内螺丝纹理，工业检查却可能恰好依赖它。地平线不是要求保存一切，而是要求未保存的差异不会偷偷改变系统声称支持的继续方式。

开放与有限可通过四种机制结合。第一，层级记忆把近期细节和长期摘要分开。第二，空间检索只取与当前位置相关的历史。第三，生成先验补全未见内容，同时标注推断而非观察。第四，现实或用户反馈到来后更新状态并传播相关改变。

这些机制各有损失。摘要会忘记细节，检索会漏掉远处因果，生成会把未知写成虚构事实，更新会破坏旧一致。系统应报告压缩率、回访误差、推断来源和修正范围，而不是只说拥有“无限世界”。

有限系统还需要遗忘政策。永久保存所有观察既不可行，也可能侵犯隐私；删除旧内容又会破坏因果链。较合理的做法是区分任务状态、审计记录、个人信息和可再生成细节，为它们设置不同寿命，并让删除造成的能力下降可见。遗忘不是纯技术故障，也是一项资源与规范选择。

地平线判准也容许系统拒绝回答。输入矛盾、历史不足或动作超出范围时，承认不确定比任意生成更符合可继续验证。一次暂缓不会关闭世界；相反，它为取得新观察保留位置。过度确定才会让后续证据无处进入。

胡塞尔与工程的有限对读，由此形成三组区分。滞留不是缓存，却提醒当前必须带着刚过去的次序。前摄不是预测，却说明期待、意外和修正互相依存。地平线不是画幅边缘，却要求未呈现内容能够在约束中继续显现。

这三组区分把“长时一致”从长度指标提升为可返回、可追问和可修正的结构。一个系统即使只能生成几分钟，只要能清楚维护承诺、处理反证，可能比一段一小时却不断遗忘的开环视频更有世界性。反之，时长很短仍意味着地平线容量有限，不能用哲学类比掩盖工程边界。

经验世界之所以不在当前视野结束，不是因为某处藏着一张无限完整地图，而是因为当前给予总可被继续、验证和改写。对有限世界模型，合理目标不是计算无穷，而是在有限资源内保存必要约束，让下一步不会与上一步毫无关系。

下一章将进入海德格尔。胡塞尔说明对象和世界怎样超出当前所见，海德格尔则会追问：世界是否首先是可观看对象的总和？工具、任务与“为了什么”的关系，将把可继续显现推进到实践关联。

把“可继续性”变成测试协议

地平线不能只靠生成更长视频测量。一个系统也许能连续输出十分钟，却在离开房间三十秒后忘掉桌上的物体；另一个系统每次只生成一帧，却能在数小时后从外部记忆恢复相容状态。可继续性要同时测生成长度、回访间隔、查询分支和历史承诺。

最小协议可以分三组。第一组是暂停—继续：在事件中断后恢复，未完成动作和对象状态是否延续。第二组是离开—返回：长时间查询别处后回到旧位置，未被改变的部分是否保存。第三组是反预期事件：在模型高概率预测之外施加新观察，系统能否修正未来而不重写已经发生的历史。

第三组对应惊讶的工程版本。模型预测门会打开，真实观察却显示门被锁住；正确更新应提高“上锁”信念、改变后续计划，同时保留此前人物已经尝试开门的事实。若系统直接重置场景，让尝试从历史中消失，它只是恢复表面一致，没有维持经验连续。

可继续性还需要选择性遗忘。有限系统不能保存每个像素，应把稳定对象、关键事件、未完成目标和不确定性优先写入长期状态，把可重新生成的纹理留给短期缓存。测试因此不只问记住多少，也问遗忘是否伤害未来查询。

记忆结构怎样对应地平线

工程系统通常把记忆分成多个时间尺度：当前上下文保存细节，情节记忆保存关键事件，语义或结构记忆保存较稳定关系，外部检索在需要时恢复旧内容。这种分层与胡塞尔时间分析只有有限结构相似，不能把缓存直接称作滞留；但它提供了检验“过去如何在当前有效”的具体对象。

短期上下文适合保留刚发生的动作和高频传感器，容量满后很快淘汰。事件摘要应记录对象被移动、门被锁、任务失败等不可随意重写的承诺。结构记忆保存房间连接、工具用途和规则。检索则根据当前问题恢复相关细节。不同层出错，会产生不同断裂。

若短期记忆不足，动作会在几秒内失去连续。若事件摘要不可靠，离开再返回时历史被重写。若结构记忆过度概括，模型记得“有一个杯子”却忘记它被打碎。若检索只按视觉相似，当前红球可能错误唤回另一房间的红球。可继续性测试应定位失败发生在哪一层。

记忆还需处理冲突。新观察与旧记录不一致时，系统可能是看错、对象改变、外部主体干预或旧记忆错误。直接用新内容覆盖旧内容最省事，却抹掉历史；更稳妥的做法是保留时间戳、来源和置信度，让后续行动能够解释变化。

注释

---

第十七章　海德格尔：世界不是对象的总和

一间虚拟木工房可以拥有完美的三维资产：锤子的钢头反射准确，木柄纹理清楚；钉子的尺寸可量，木板的年轮可见；桌面、墙壁和灯光都能从任意角度渲染。使用者拿起锤子敲钉时，钉子却纹丝不动。系统有锤子对象，却没有“用锤子敲钉”的关系。

再进一步，假设钉子可以被敲入。锤子损坏后，系统仍让任务照常完成；钉子用完后，建造流程不受影响；木板属于别人的事实也不改变行动权限。对象开始可动，仍未形成稳定的实践关联。世界不只是“有哪些东西”，还包括它们在任务、身体、他人和规范中怎样起作用。

海德格尔在《存在与时间》中对世界性的分析，正是从日常操持而非孤立观察出发。锤子通常不是首先作为具有质量、长度和颜色的物体出现，而是在敲打中顺手可用；它指向钉子、木材、工作台、建造活动和某个“为了什么”。用具之所以是用具，依赖整个指涉关联。

这种分析能纠正世界模型讨论中的对象清单倾向。对象中心表示、三维网格和语义标签很有价值，却不自动给出用途、故障和任务重组。与此同时，海德格尔的存在论也不能被缩成机器人任务图。上手性不等于可供性标签，用具整体不等于节点—边数据库，机器执行工具动作更不证明它拥有人类的在世存在。本章只从工程可检验层面问：模型有没有保存实践关系，而不裁定机器是否具有海德格尔意义上的世界。

图17-1　用具整体与故障显露。任务、工具和环境在顺畅使用中形成关系网络；故障使原本隐退的接口与依赖显露出来。

一　对象清单为何不是世界

对象清单把场景写成一组实体：锤子、钉子、木板、门、桌子。每个实体再附上位置、尺寸、颜色、材质和类别。这样的表示对检测、渲染、碰撞和检索很有效，也比一张没有对象结构的图像更容易编辑。

海德格尔所谓“世界”并不是与锤子并列的最大对象，也不是把所有对象装进去的宇宙容器。“世界性”问的是：对象如何在日常操持中成为可理解、有关联的存在者。因此，给场景再加一个名为“世界”的全局节点，并没有回答世界性；节点仍需说明各项实践怎样彼此指涉。

这也涉及存在者层面的描述与存在论问题的区分。列出房间里有五十件物品，是对存在者的说明；追问它们为何以材料、工具、障碍或他人物品的方式显现，则改变了分析层级。本书不要求工程系统完成基本存在论，只借这一层级差异约束“对象越多，世界越完整”的直觉。

但同一清单可以对应完全不同的实践情境。木板可能是待加工材料，也可能是展品、路障或某人的私人财物；锤子可以敲钉、压纸、破窗，也可能因安全规定不得使用。对象的几何不变，行动意义却随任务、身体、制度和周围用具改变。

“门”尤其能说明差别。渲染系统可以从各角度生成门，碰撞网格阻止相机穿墙，语义分割也正确标出门板。如果门没有开关状态、把手与门锁没有联动、门后空间不随开启变得可达，那么系统只保存了门的表面形状。作为场景资产它已经成功，作为通行用具却不完整。

对象中心学习尝试让模型从感知输入中形成可组合的对象槽位。Slot Attention 例如把视觉特征迭代分配到一组可交换槽位，在对象发现和属性预测任务中学习面向对象的表示。¹³³ 这对身份、计数和组合有帮助，但槽位是任务依赖的抽象，不保证每个槽位稳定对应现实对象，更不保证它编码用途网络。

即使每个对象都分得完美，关系仍可能贫乏。模型的状态编码了“锤子在桌上”“钉子在盒中”，却没有编码锤头硬度适合敲入、钉子连接两块木材、完成连接是建造柜子的子任务。空间邻近和语义共现不能代替“用来……”“为了……”的关系。

对象还不能脱离行动者。儿童拿不起重锤，机械臂夹爪无法稳定握住圆柄，熟练木匠却能调节敲击角度；同一物体对不同身体提供不同可能。把“可敲击”写成锤子的固定属性，会忽略能力与情境的关系。

因此，对象清单是必要基础之一，不是世界的充分说明。世界模型可以有较弱合同，只服务渲染或定位；若声称支持实践行动，就要增加角色、任务和故障。批评对象清单不是要求删除对象，而是反对把对象属性表当成实践世界的全部。

这一区分也适用于语言模型生成的场景图。系统可以列出“锤子—用于—敲钉”“钉子—连接—木板”，句子却可能只是常识模板。只有当关系能在具体状态中约束动作、随故障变化并经结果校正，它才从描述关系转向运行关系。

运行关系还要经受反向测试。若把木板换成玻璃，系统是否降低敲击力度或改用其他固定方法。若目标改成拆卸，锤子与钉子的角色是否倒转。若门被标为紧急出口，平时关闭的状态是否仍允许特定条件开启。静态三元组往往能复述常识，却不能随条件重组。

二　上手性

《存在与时间》§§15—18 从用具分析展开世界性。海德格尔区分上手性与现成性：前者指用具在操持中顺手可用的存在方式，后者指事物作为具有可观察属性的对象而呈现的方式。不同译本会用“ready-to-hand”“availability”“handiness”等词，本书统一用“上手性”，以“现成性”对应 presence-at-hand。¹³⁴

这不是两类永远分开的物体。锤子在熟练敲打中并不总成为注视主题，使用者的注意力贯穿锤子而指向钉子和工作；同一锤子断柄后突然凸显，重量、裂口和材料变成问题。用具可从顺畅使用转为被检查对象，显现方式随操持改变。

顺畅操持中的“看”也不是无视觉，而是一种环顾性的把握。操作者不断监测钉子角度、手指距离、木板支撑和周围空间，却未必把每项都变成独立判断。海德格尔以“环视”说明这种面向关联整体的察看，它不同于停下来逐项测量对象。¹³⁴

工程系统可以近似区分焦点识别与任务监测。抓取前，检测器给出锤子框；执行中，控制器持续读取接触、姿态和障碍；异常时，诊断模块再把裂口或松动变成显式对象。若系统只在开始识别一次“锤子”，随后不监测关系，初始标签很快会过期。

上手性也不能简化成“物体可用”。一把完好锤子若不适合当前钉子、离使用者太远或受到禁用规则限制，在此情境中就不是同样上手。上手状态包含“为了某事、在某处、由某种能力、在某个关切中可用”。

由此，空间上的“近”也不只等于欧氏距离。放在腰间工具袋里的锤子可能比桌上十厘米外但被玻璃罩住的锤子更近于行动。远处仓库的一盒合格钉子，可能比手边一盒尺寸错误的钉子更切近当前任务。三维坐标给出物理距离，实践距离还由可达、相关和阻碍组织。

世界模型若服务规划，可以同时报告两种距离：几何代价与任务代价。前者估计路径长度和碰撞，后者估计取得工具后能否推进目标。把两者混成一个相似度，可能让机器人靠近无用对象，却远离真正的任务资源。

这一点与机器人的可执行性相呼应。碰撞网格说明夹爪不能穿过锤柄，抓取姿态说明怎样接近，动力学说明抬起后如何运动，任务目标说明为什么要拿它。缺少任一层，锤子都可能在画面中存在而在行动中不可用。

但机器人抓取成功不等于海德格尔意义上的上手性。上手性嵌在此在的操心、理解和在世存在中，不是单项动作标签。工程上可借用的只是有限判准：对象角色要在实际操持、关联任务与故障变化中验证，而不能仅由视觉类别推出。

可供性研究提供一条相邻而不同的技术路线。Hedvig Kjellström、Javier Romero 与 Danica Kragić 2011 年的工作从人类示范中推断对象的功能性类别，让机器人学习对象与动作的关联。¹³⁵ 这里的可供性被操作化为可从视频识别、可供机器人任务使用的关系，范围比海德格尔的上手性窄得多。

场景层面的研究还发现，人们对环境的分类可由活动可能性组织。Michelle R. Greene 等人的大规模实验比较对象、视觉特征和活动可供性对场景分类结构的解释，报告可供性相似性具有很强解释力。¹³⁶ 这说明“厨房是什么”不只由对象清单决定，也与能在其中做什么有关。

不过，分类可供性仍不是行动闭环。模型可能把厨房判断为“可烹饪”，却不知道这个灶具是否通电、锅能否承受温度、当前人是否有权限使用。标签把复杂关系压成类别，真正使用还需状态、技能与规范。

修订前项目来源表在这里有两处书目错配。它把 Kjellström 等人的论文写成《Visual Recognition of Human Affordances》，当前可核验题名是《Visual Object-Action Recognition: Inferring Object Affordances from Human Demonstration》；又把场景可供性论文记在 Yuke Zhu 名下，实际第一作者是 Michelle R. Greene。¹³⁵¹³⁶ 书目纠正同时防止把不同证据误并为一个路线。

三　用具整体

锤子不是孤立地成为锤子。它用于敲打，敲打指向钉子，钉子用于固定木板，固定木板服务于造柜子，柜子又服务于存放物品和生活安排。工作台、尺子、图纸、材料供应和他人的分工共同构成一个用具关联整体。

海德格尔称这种结构包含指涉、“为了……”和“用来……”的层层关联。单个用具在整体中获得位置；整体又不是后来把独立对象相加得到的目录，而是在操持中先行提供理解背景。¹³⁴

Robert Brandom 对这一点给出系统性解释：一种东西在实践中的角色，依赖它与其他角色共同构成的关系系统；改变一处可能重排其余部分。¹³⁷ 这是有影响力的解释传统，不应当作《存在与时间》唯一无争议读法，但它适合说明为什么局部属性不足。

工程上，任务图看起来与用具整体相似。节点代表工具、材料、动作和目标，边表示前置条件与结果：先取锤子，再定位钉子，敲入后检查连接。图可以让规划器发现缺少钉子时不能继续，也可以在锤子损坏时改用螺丝刀和螺钉。

但任务图仍是人为限定的模型。它列出哪些对象和关系，取决于设计者预见；生活实践中的用途可以创新、冲突并受社会规范改变。把锤子当临时镇纸可能不在图中，借用他人工具的许可更需要制度背景。任务图是实践关系的工程近似，不是世界性的完整复制。

用具关系至少有五个可分维度：物理可行性、身体可达性、技能可执行性、任务相关性和规范许可。锤子能敲钉属于物理与功能关系。机械臂是否握得住属于身体关系。控制器会不会敲属于技能关系。当前是否需要建造属于任务关系。是否有权使用属于规范关系。

• 物理：锤子案例中的问题：锤头是否足够硬、柄是否完好；改变后应影响什么：接触后果与损坏风险。
• 身体：锤子案例中的问题：夹爪是否够宽、姿态是否可达；改变后应影响什么：可选抓取与路径。
• 技能：锤子案例中的问题：策略能否控制敲击方向和力度；改变后应影响什么：成功概率与恢复动作。
• 任务：锤子案例中的问题：当前是固定木板还是拆除结构；改变后应影响什么：工具角色与动作次序。
• 规范：锤子案例中的问题：工具是否获准使用、材料属于谁；改变后应影响什么：可执行集合与审批流程。

许多世界模型只覆盖前两项。三维几何和物理引擎可判断接触与运动，机器人身体模型可判断可达；技能可能由策略提供，任务由奖励给定，规范则常被排除。系统仍能完成受限工程任务，但其“世界”强主张应声明没有覆盖的层级。

关系还会随时间改变。钉子被敲入后从可取物变成连接件，木板从材料变成柜体部分，锤子借出后对另一使用者暂时不可用。第十六章的持存因此必须扩展到角色持存：系统不仅记住对象在哪里，还要记住它目前在任务中是什么。

多主体情境让角色更复杂。一个人正在使用的锤子，对另一人不是立刻可取；同一工作台承载协作顺序和安全距离。共在问题不能缩成多个智能体坐标，但最小工程要求是不同主体的行动相互约束，不能各自在私人副本中使用同一资源。

资源冲突是检验关系整体的直接办法。让两个机器人同时计划使用唯一电钻：若各自模型只看本地对象清单，两条计划都会成功；共享任务状态则应产生预约、等待或替代工具。几何和动力学可以完全正确，世界仍会因社会资源关系错误而分裂。

一个实践导向的表示可以同时保留对象状态、动作接口、前置条件、目标和权限。它未必需要人可读符号图；这些关系可以分布在策略、动力学模型与记忆中。功能检验仍是：换任务、换身体、发生故障或加入他人后，系统能否恰当重排行动。

四　故障如何显露关系

顺畅使用时，用具往往退居背景。锤子合手、钉子合适、木板固定，操作者专注于建造；一旦锤柄断裂，锤子才作为有重量、裂纹和材料的对象凸显。故障使原先隐含的关联网络显露：缺少备用工具，后续步骤停顿，交付时间改变。

海德格尔讨论损坏、缺失和妨碍等情形，说明上手用具如何变得显眼、碍事或顽固，并让用具整体呈现。¹³⁴ 这不是说理论观察只在故障后可能，而是说断裂特别清楚地揭示平时被顺畅操持遮蔽的依赖。

三类中断对模型的压力不同。损坏要求更新对象内部状态：锤子仍在，却不能按原方式使用。缺失要求保存负事实：应该在工具箱里的锤子不在。妨碍则要求理解在场对象如何阻断别的活动，例如电缆横在通道上。只会检测“看见什么”的系统，往往难以表示“应该有却没有”和“这个东西正在碍事”。

负事实不能由空白像素直接读出。工具箱里没有锤子，只有在任务预期、存放惯例或清单背景下才构成缺失；同一空工具箱在搬家后可能完全正常。故障诊断因此依赖规范性期待，而不只是视觉差异。

对于世界模型，故障是优质压力测试。完好门的开关动画可以由模板生成；门锁卡住时，系统是否保持半开状态、阻止通行、要求更大力或寻找另一入口，才能检验门与任务网络。故障把“会播放用途”提升为“会重组计划”。

完美锤子却不能敲钉，是第一类故障：视觉资产与动力学脱节。锤柄断了仍能照常敲，是第二类：对象状态不影响功能。钉子缺失但柜子自动完成，是第三类：前置条件不影响任务。锤子坏后规划器持续重复同一动作，是第四类：系统不能诊断并改道。

• 交互故障：现象：锤子接触钉子却无结果；模型缺失：动作—状态转移。
• 功能故障：现象：断柄不改变敲击能力；模型缺失：属性对用途的约束。
• 任务故障：现象：缺少钉子仍完成柜体；模型缺失：前置条件与依赖链。
• 恢复故障：现象：失败后无限重复；模型缺失：诊断、替代与重规划。
• 规范故障：现象：擅自使用禁用工具；模型缺失：权限与共同规则。

视频生成偏好顺畅、典型和完成的事件，容易美化故障。第十五章的失败保持在这里得到实践版本：不仅要画出动作失败，还要让失败改变后续意义。断锤不能只是表面裂纹，它应使“拿锤—敲钉—固定木板”的链条中断。

诊断还需要区分原因。钉子不动可能因为锤力不足、钉子弯曲、木材太硬、抓握错误或安全控制器限幅。若模型只给出“失败”标签，规划器难以选择重试、换钉、预钻孔或停止。实践世界要求故障与可采取补救之间有稳定关系。

故障测试应包含分布外组合。训练中只见锤子断柄，测试时让锤头松脱；训练中只见缺钉，测试时让钉子尺寸不合。若系统只复现故障模板，无法把材料、结构和任务关系重新组合；若能迁移诊断，才说明关系表示超出表面记忆。

人类实践中的故障还会改变关切。临近交付时断锤比空闲时更紧迫，公共空间中的破门比私人工作间涉及更多责任。技术系统可以不建模这种完整情境，但至少应避免把所有失败压成同一负奖励。

案例框 11　工具没坏，关系坏了

情境：机器人用完好的十字螺丝刀处理一颗一字螺钉。视觉识别正确地标出“螺丝刀”和“螺钉”，动作却反复打滑。

检验：让系统解释失败、选择替代工具并恢复任务；随后更换目标，把同一螺丝刀用作临时压纸重物。

可能结果：对象分类全对，固定功能标签却把螺丝刀始终视为“拧螺钉工具”，既不能发现接口不匹配，也不能在新目标中利用其重量。

判断：实践关系不由对象名称单独决定。任务、身体、工具接口和环境共同规定“能做什么”；故障与目标切换比静态识别更能测试用具整体。

工具接口失配说明，对象识别正确仍可能无法继续任务。交互模型的缺口因此不只是检测误差，而是关系网络未被保存。

五　交互模型的实践缺口

生成式交互环境已经让使用者逐帧控制画面。Genie 由时空视频标记器、自回归动力学和潜在动作模型构成，从无动作标签的互联网视频学习可控环境。论文报告可以用文字、图像、照片或草图提示，并在没有真实动作标签的训练条件下让用户逐帧行动。¹³⁸

这种能力很重要：动作不再只是提示视频整体风格，而在生成过程中持续改变后续帧。潜在动作模型从视频变化中学习控制维度，为可玩环境提供接口。但学到的动作集合受训练视频与潜在动作发现方式限制，常见移动或跳跃不自动扩展为开放工具使用。

一个角色能向左、向右和跳跃，说明环境具有有限控制回路；如果门只能作为背景，钥匙不能开锁，道具损坏不改变任务，实践网络仍很薄。交互性回答“用户能否改变画面”，世界性强主张还要问“改变是否进入用途与任务关系”。

潜在动作还可能缺少可解释名称。某个控制维度在视频里稳定对应“向右移动”，已经足以让用户玩耍；它不必先被标注为语义动作。用途问题却要求跨情境保持：同一潜在动作在不同外观关卡中是否仍产生相似控制效果，遇到门、梯子和工具时是否按关系改变。可控性可以无标签，角色稳定性仍需测试。

Marble 一类可编辑三维世界又提供对象替换和结构修改。用户可以删除桌子、换墙面或扩展空间；这些编辑对创作极有价值。¹³⁹ 但“把锤子模型换成斧头模型”不等于任务中用途已更新：抓取姿态、碰撞、砍削材料和安全规则都要同步改变。

可以为实践环境建立一组逐级测试：对象可识别。对象可操纵。动作产生正确物理后果。对象在任务链中改变前置条件。故障引发诊断和重规划。多主体的权限与协作保持一致。每一级都比前一级增加关系，不能用画面演示替代。

最强反对意见是：工程系统只需完成任务，不需要海德格尔意义的世界性。这个意见完全正确。工厂机械臂若可靠拧紧一种螺丝，没有义务理解木工传统、财产权或此在的操心；把存在论要求强加给局部控制器，只会制造空泛指标。

本章的用途是限定语言。系统若自称螺丝拧紧模型，局部成功已经足够；若自称开放世界模型、通用具身智能或人类实践模拟器，就必须说明它覆盖哪些对象角色、任务关系、故障和规范。世界性不是所有工程的硬门槛，而是强主张的证据负担。

这也防止另一种误读：海德格尔并不要求我们放弃科学对象、几何或物理。现成性分析有其正当用途，工程系统也离不开度量对象；问题在于把脱离实践的对象观察当成最原初、最完整的世界说明。实践关系补充对象表示，不是把它取消。

技术上最现实的目标，是“关系充分性”而非复制存在论。对声明的任务集，模型保存会改变行动结果的对象角色。发生状态变化时，相关前置条件随之更新。遇到失败时，能够诊断、替代或退出。超出关系覆盖时，明确给出能力范围外标记。

“不知道”也可被工程化为能力范围外标记，而不是赋予模型自我意识。系统检测到陌生工具、未登记权限或无法估计的故障后，停止规划并请求信息；这比编造一条流畅任务链更符合实践安全。拒答本身不构成世界性，却保护关系模型不被过度外推。

这种目标仍可被严格测试。更换外观但保留用途，动作是否稳定。保留外观但改变材料，用途是否更新。更换身体，抓取可能性是否调整。改变任务，注意和工具选择是否重排。加入权限约束，计划是否避开禁止动作。它们比问“模型是否真正理解锤子”更可操作。

海德格尔给世界模型讨论的关键提醒，不是神秘化工具，而是改变评价单位：从单个对象转向关系整体，从成功动作转向操持链，从正常状态转向故障重组。一个世界之所以可居、可用，不只因为物体在那里，还因为它们在“用来”和“为了”的网络中保持作用。

下一章将进入梅洛-庞蒂与吉布森。海德格尔强调实践关联，梅洛-庞蒂将进一步说明身体图式、姿势和运动意向性；吉布森的可供性理论则把行动可能性置于环境与行动者的关系中。问题将从“工具属于什么任务网络”推进到“什么样的身体能够看见并实现这些可能”。

用故障与修复测试实践世界

若要把“用具整体”从哲学说明转成工程问题，可以构造一组故障—修复任务。机器人要用螺丝刀固定面板：正常时，工具、螺钉、面板和手臂形成顺畅链条；随后分别让螺丝刀尺寸不合、螺钉滑牙、面板孔位偏移或照明熄灭。每种故障都要求系统重新识别哪一关系失效，而非只把某个对象标成异常。

成功标准不只是最终完成。系统应先定位失败来源，再选择相应修复：换工具、换螺钉、重新对准或增加照明。若无论何种失败都重复加力，说明它只学到动作相关性，没有表示用具之间的条件关系。若能描述故障却不能改变计划，则语言识别与实践能力仍然分离。

还可以交换目标。相同螺丝刀在“固定面板”中是工具，在“压住纸张”中可能只是重物；同一桌面在维修时是支撑面，在移动机器人路线中是障碍。对象属性没有改变，指涉和用途网络改变。世界模型若把功能固化成类别标签，便难以随任务重组。

这类测试与第十五章机器人闭环相接：故障让原本透明的关系显露，修复要求模型利用这些关系。它也与第二十章的 E 维度相接，因为工具是否可用取决于身体、目标和环境，而非对象单独拥有一个固定可供性。

任务切换怎样重组一个世界

对象清单在任务切换时最容易显出不足。同一间厨房，做饭时炉灶、刀、食材和台面构成核心关系；清洁时水槽、抹布、垃圾桶和污染区域更重要；紧急疏散时门、通道、烟雾和人员位置压倒其他对象。物体大多没有改变，世界的相关结构却重组了。

一个实践世界模型应能在目标变化后重新分配注意、状态精度和动作可能性。做饭模型关心锅的温度和食材顺序，清洁模型关心表面是否湿滑，疏散模型关心通道是否可通过。若系统只有固定场景表示，它可能保留大量对象特征，却缺少让这些特征进入不同关系网的机制。

可以把任务切换做成连续实验。机器人正在摆放餐具，突然收到“水管漏水”的新目标。它应暂停原任务，识别水源、关闭阀门、避免湿滑区域，并记住餐具任务尚未完成。处理完故障后返回，原任务状态不能丢失。这里同时检验目标层级、用具关系、风险和历史持存。

更难的是多主体任务。一个人继续疏散，另一个人关闭设备，二者共享空间却有不同局部目标；工具可能被占用，通道可能因他人行动改变。实践世界不只是单个代理的用途网络，还要容纳他人计划与冲突。第十九章的共同世界由此不是额外社会装饰，而是用具关系在复数主体中的扩展。

故障也会改变对象显现方式。顺畅使用时，门把手不需要被单独分析；卡住后，材质、铰链、受力和替代出口进入前景。工程系统若只在训练标签中识别“门”，无法自动获得这种从使用到诊断的转变。它需要让预测失败触发更细状态和新的行动搜索。

所以，海德格尔式问题给世界模型评价增加的不是一项“工具识别分数”，而是一组任务重组能力：目标变化时哪些关系变重要，故障时怎样定位断点，修复后怎样恢复原活动，多主体时怎样协调有限资源。这些能力可以被实验化，却不能压缩为对象数量。

注释

---

第十八章　梅洛-庞蒂与吉布森：身体和行动可能性

一段二十厘米高的台阶，在三维模型中可以有完全确定的几何：高度、宽度、坡角、材质和摩擦系数都能测量。可是，对一个健康成人，它通常是一步可上的通路。对刚学会走路的幼儿，它可能是需要扶持的障碍。对轮椅使用者，它可能中断前进并把注意引向坡道。对一台轮足机器人，它是否可越过还取决于轮径、关节行程、重心、负载、电量和控制策略。

台阶没有因为行动者不同而改变高度，但它在各自世界中的意义并不相同。这里的“意义”首先不是语言解释，而是身体能够做什么：能直接迈上、必须绕行、需要借助、可能跌倒，或者根本不在当前能力范围内。同一环境事实由不同身体组织成不同的可行动空间。

这正是只谈图像与对象时容易遗漏的一层。第十七章从海德格尔出发，说明世界不是对象总和，而包含工具、任务和故障的实践关联。本章再向前一步：那些关联不是由一个无位置、无尺度、无脆弱性的观察者看到的。行动者总是从某种姿势、能力和感官回路中接近世界。

梅洛-庞蒂用身体图式和运动意向性说明，身体不是摆在主体面前的一件普通对象，而是主体得以朝向事物、占据空间并实施行动的条件。吉布森则用行动可能性——讨论其原义时也称可供性（affordance）——说明环境提供什么，要相对于动物或行动者的能力来理解。两条思想路线并不相同，却共同反对把知觉还原成一幅先完成、再交给行动模块解释的内部图画。

对世界模型而言，这一章不要求机器获得人的现象身体，也不以哲学词汇替代控制工程。问题更有限，也更严格：模型是否把视觉、身体状态、动作与反馈闭合起来；更换身体、技能或损伤条件后，它是否相应改变可达、可抓、可穿越和危险的判断。一个只会生成“看上去可以”的世界，还不是一个对具体身体真正可行动的世界。

图18-1　可供性属于身体—环境关系。身体能力、对象几何、材料状态和任务目标共同规定可供性；行动反馈又会改变身体对环境的可用判断。

一　身体不是一个输入通道

机器学习系统常把身体写进输入列表：摄像头图像、深度图、关节角、力矩、触觉阵列、麦克风和惯性测量单元。然后把各路信号编码、对齐、融合，送入同一个状态表示。这样的多传感器融合非常重要，但“输入更多”并不自动等于具身知觉。

原因首先在于身体不是与摄像头并列的又一个传感器。摄像头观察环境，关节编码器报告身体姿态，执行器改变姿态，而姿态变化又改变下一刻能够看见和接触的东西。身体同时参与取样、变换坐标、施加作用和承受后果。它不是通往既成世界的一扇额外窗口，而是观察回路本身的活动部分。

一个固定在墙上的相机与一台可移动机器人即使使用同型号镜头，也不面对同样的预测任务。前者可以根据画面运动估计行人轨迹；后者的每次转向都会改变光流、遮挡、碰撞风险和可达区域。若系统不能区分多少画面变化来自自身动作，便会把主动转头误判成世界旋转，把手臂遮挡误判成物体消失。

因此，具身状态至少要同时保存三类关系：身体各部分之间的关系，身体与环境之间的关系，以及动作如何改变前两者。关节角单独是一组数值；当它与连杆长度、负载、接触点和下一步动作联系起来时，才构成“手目前够得到哪里”的条件。世界状态若没有身体状态，就缺少行动从何处发生。

梅洛-庞蒂在《知觉现象学》第一部讨论身体时，反对把身体仅仅理解为外在因果链中的物体。他关注的是“自己的身体”：它当然具有重量、尺寸和器官，却又是知觉世界的定向中心，是“这里”“那里”“左”“右”“可及”“太远”等关系得以展开的条件。身体并非先被完整观察，再被主体决定如何使用；日常行动通常已经在姿势与环境之间建立协调。¹⁴⁰

这一区分可以用抓杯子来说明。人在伸手前未必显式求解肩、肘、腕的全部关节角，也不必先画出一张身体三维图再执行轨迹。杯子在桌面上显为可及，手随姿势展开，视线、肌肉感觉和触觉不断校正。若杯子比预期更重，抓握力会改变；若杯壁有水，手指滑动会立刻重组动作。

现在设想一台机器人只根据视觉判断抓取成功。夹爪在画面中包住杯子，检测器给出高置信度“已抓取”；实际接触面过湿，杯子开始向下滑。若触觉与电机电流没有进入同一个动作—状态循环，系统会继续抬臂，直到杯子掉落。它拥有多路输入接口，却没有让视觉判断接受身体反馈的修正。

反过来，触觉也不是独立的真相通道。压力增加可能表示握稳，也可能表示即将捏碎薄杯；同样数值在不同材质、姿态和任务下意义不同。感官融合的关键不只是把向量拼接起来，而是让各感官在行动后果中互相校准：视觉预测何时接触，触觉确认接触性质，本体感觉报告手的位置，动力学预测继续用力会发生什么。

前庭感觉尤其揭示“画面正确”与“身体正确”的差别。虚拟现实中，用户眼前可以高速转弯，身体却静坐不动；视觉给出加速与旋转，前庭系统没有相应变化。即使每一帧透视、光照和材质都逼真，这种跨感官不一致仍可能造成不适和定向困难。所谓沉浸并不只由屏幕占据多少视野决定，还受头部运动、显示延迟和身体反馈的时间关系约束。¹⁴¹

因此，本章所说的具身知觉不是“多模态”的同义词。多模态系统可以同时处理图像、声音和触觉，却仍把它们当作被动数据。具身知觉的最低工程近似，是感知随身体行动而变化，预测接受实际反馈检验，身体能力又改变什么值得被看见与怎样被行动。

二　身体图式与“我能”

身体若不是普通输入，它怎样组织空间？梅洛-庞蒂的重要回答是身体图式。这个概念不是脑中一张静止的人体示意图，也不是列出每条肢体长度的数据库；它指向身体各部分在姿势、任务和可能运动中的整体协调。手臂的位置不是孤立坐标，而是“能否伸到杯子”“是否挡住视线”“怎样保持平衡”等关系的一部分。

研究中常把身体图式与身体意象区分。身体意象更接近对身体的知觉、信念或态度，例如知道自己右肩有伤、觉得手臂抬得不够高；身体图式则更偏向行动中非反思性的感觉—运动组织。Shaun Gallagher 与 Andrew N. Meltzoff 在梳理梅洛-庞蒂与发展研究时强调，身体图式和身体意象的传统假设会受到婴儿模仿与先天肢体缺失研究的挑战。这里更稳妥的工作性区分，是身体作为被表象的对象，与身体作为行动组织方式之间的差异。¹⁴²

这一差别可由熟练打字看到。打字者能迅速找到字母，却未必能脱离键盘行动准确画出每个键的位置。身体掌握的是一组可执行关系：手指从当前姿势怎样移到下一个键，错误触感怎样引发修正。若把键盘整体向右挪动，开始会连续错位，短暂练习后身体又建立新协调。

梅洛-庞蒂用“我能”描述这种空间性。空间对身体首先不只是一个由外部坐标填充的盒子，而按实际与可能任务组织：脚下是可站立之处，伸手范围形成近域，门把手要求特定高度和旋转方式。身体不是先完成一句“我思故我能”，才逐项执行；许多行动在明确命题判断之前，已经以熟练能力朝向目标。¹⁴⁰

“我能”并不意味着愿望可以取消物理。成人觉得一步可上的台阶，仍受重力、肌力和摩擦约束；幼儿想上去，也不会因此获得成人腿长。它强调的是，同一几何空间怎样围绕身体能力分化为可达、勉强、需要帮助和不可达，而不是把世界主观化。

回到二十厘米台阶，可以把差异拆开：

• 健康成人：相关身体条件：腿长、肌力与平衡足以跨越；台阶的当前行动意义：通常可直接迈上。
• 幼儿：相关身体条件：步幅较短，平衡与经验尚不稳定；台阶的当前行动意义：高风险障碍，可能需手膝并用或成人扶持。
• 轮椅使用者：相关身体条件：轮径、椅体几何与上肢能力不同；台阶的当前行动意义：可能不可直接通过，坡道或协助成为显著选项。
• 轮足机器人：相关身体条件：轮径、关节行程、重心、负载与策略受限；台阶的当前行动意义：可越过性须由具体机体和控制条件计算。

表中没有哪一项只存在于台阶，也没有哪一项只存在于行动者。高度属于环境，腿长或轮径属于身体，能否通过则由二者关系以及技能、风险和辅助条件共同决定。同一行动者的“我能”也会变化：成人抱着重箱、膝部受伤或处于黑暗中时，台阶的意义不同；机器人低电量、负载偏移或传感器损坏时也一样。

身体图式还具有习惯性。人学会使用盲杖时，注意并不总停在手掌与杖柄接触处，而可延伸到杖尖碰到的路面；熟练驾驶时，车辆宽度进入对间隙的把握。梅洛-庞蒂借此说明习惯不是机械重复，而是身体把新的行动方式纳入可操作空间。¹⁴⁰

这对机器人很有启发，却不能直接等同。机器人描述文件可以精确列出连杆、关节和碰撞体，标定程序可以估计相机外参，控制器可以学习工具使用。这些构成身体图式的某些功能近似：系统根据当前机体组织可达空间，并在换工具后重新校准。但是，一张 URDF 文件本身只是参数表，不等于在行动中形成的身体图式；一台有外壳和执行器的机器也不因此成为梅洛-庞蒂意义上的身体主体。

区分参数与组织很重要。两台机器人可使用相同机械结构，其中一台关节磨损、抓取策略成熟，另一台刚换夹爪且未重新标定。纸面参数几乎相同，实际“我能”却不同。反过来，一台机器人即使没有精确摩擦系数，也可能通过失败与反馈学会降低速度。身体图式的工程判准不在参数是否齐全，而在系统能否把机体变化转化为行动空间变化。

因此，换身测试比固定机体上的平均成功率更有诊断力。把相同世界模型部署到长臂与短臂、轮式与足式、软夹爪与刚性夹爪上；若它仍输出同一套可达与可抓判断，模型保存的只是环境外观。若它能根据身体尺度、动力学和已习得技能重估选择，才开始具备主体相对的空间组织。

三　运动意向性

身体图式说明姿势与能力怎样形成整体，运动意向性则说明身体怎样朝向任务。这里的“意向性”不是日常语言中的主观打算，也不只是控制器收到一个目标坐标。它指知觉和运动本来就以某种事物与可能行动为指向：伸手是朝向杯子，转头是寻找声源，退后是避开迎面物。

梅洛-庞蒂讨论脑损伤患者施耐德的案例时，对比了具体情境中的行动与脱离情境的抽象动作。案例的医学解释有其历史局限，今天不能把其中每个神经学结论直接当作定论；哲学上的重点是，身体对空间的把握并不能据此视为拥有一套中性坐标。动作可以在有意义的任务中被引出，却难以在纯指令下按同样方式完成，说明“知道位置”和“能够朝向它行动”并非一回事。¹⁴⁰

工程系统也常出现类似但不等同的裂缝。视觉模型能准确标出杯子的二维框，机械臂却因坐标转换误差抓空；规划器能给出末端目标，控制器却不能生成绕过肘部奇异位形的轨迹。识别、定位、可达和稳定控制是不同能力。用“理解了杯子”概括它们，会掩盖动作链在哪里断裂。

运动还会主动产生信息。向侧面移动可让被遮挡物显露，转动物体可检查背面，轻推可测试重量与固定方式，先接触再加力可判断表面是否易滑。此时行动不只是根据观察输出的结果，也是一种选择下一次观察的手段。世界模型必须预测“如果我这样动，我将获得什么感觉”，而不是只预测环境自行演化。

这使第十二章讨论的内部模拟获得身体坐标。规划不只是比较抽象未来帧，还要在机体约束下展开反事实：如果手腕再旋转十度，夹爪会不会碰桌。如果重心向前移，机器人能否跨上台阶。如果轻抬杯子，触觉变化是否支持继续加力。潜在模拟只有与可执行动作和反馈相接，才成为身体的规划资源。

视觉抓取而触觉滑落是一个完整压力测试。第一阶段，视觉根据形状给出抓取点。第二阶段，手臂接近，遮挡改变，模型要保持杯子与夹爪状态。第三阶段，接触产生压力，系统判断是否闭合。第四阶段，抬升后出现微滑，触觉与电机电流否定“已经稳定”的视觉判断。第五阶段，控制器增加合适力度、改变姿势或放回杯子。任何一步被删去，所谓成功都可能只是一帧构图。

运动意向性还要求区分动作外观与动作完成。视频里手靠近杯子，看起来像“抓取”；但抓取是否完成，要由接触、承重和后续稳定性定义。模型若只从典型视觉序列学习，很容易把手指包围物体当作成功，把抬腕当作举起，把目标暂时不动当作已经控制。

失败在这里不是噪声，而是身体校准的材料。伸手过短暴露可达估计错误，脚底打滑暴露摩擦预测错误，夹爪震荡暴露控制延迟。系统若在失败后仍保持原有“可行”判断，只是把画面恢复得更流畅，就没有更新“我能”的边界。

身体能力也包含技能。相同成人身体中，攀岩者与初学者面对同一岩点，会看到不同的可用路线；相同机器人硬件在训练前后，稳定抓取集合会扩大。把行动可能性完全归于形态会低估学习，把它完全归于策略又会忽略力量和尺寸。世界模型应同时表示较慢变化的机体条件与较快变化的技能、疲劳和负载状态。

由此可以提出一个简单判准：更换观察视角而不改变身体，系统应保持对象与动作关系；改变身体能力而保持环境外观，系统则必须改变行动预测。前者检验对象持存，后者检验身体相对性。只通过前者的模型，可能拥有稳定场景，却仍没有可行动空间。

四　可供性的关系性

吉布森的生态知觉理论为这种可行动空间提供了另一套词汇。环境中的表面、物质、边缘和布局，不只可按颜色、形状与距离描述，也向动物提供某些行动可能性（可供性，affordance）：地面可支撑，通道可穿过，物体可抓握，边缘可能跌落。吉布森在 1977 年〈可供性理论〉以及 1979 年《视觉知觉的生态路径》中系统展开这一概念。¹⁴³¹⁴⁴

行动可能性不是对象上的固定用途标签。“椅子—可坐”“杯子—可抓”作为数据标注很方便，却只表达一般常识。对幼儿过高的椅子未必能直接坐上，带把的大杯子对人手易抓，对尺寸不合的夹爪却可能不可抓。即便同一人，手部受伤、戴厚手套或双手被占用时，杯子的可抓性也会变化。

它也不是随心所欲的主观投射。台阶高度、表面硬度和摩擦并不由行动者愿望创造；轮椅不能直接通过二十厘米立面，不会因为使用者“把它看成坡道”就改变。行动可能性存在于环境条件与身体能力的配合关系中：既不能只从对象推出，也不能只从内心状态推出。

吉布森强调动物与环境的互补关系。一处水平表面是否可站立，涉及表面尺度、强度与动物身体；一个开口是否可穿过，涉及开口宽度与身体宽度。关系性并不意味着行动可能性只有在被察觉时才存在：人没有注意到身后的椅子，椅子仍可能可坐。模型也可能漏检一个真实出口，或者误把玻璃门当成畅通通道。感知到的可能性与实际可能性必须区分。

“相对于身体”还不足以构成“相对于当前欲望”。水对能够饮水的人具有可饮用性，并不因为此刻不渴就失去；当前目标影响哪些可能性变得显著、被选择，但不必创造其物理与身体条件。若把偏好、能力和环境混成同一得分，就难以解释“可以但不想做”“想做但做不到”以及“误以为可以”之间的差别。

行动可能性可以分成至少四层：环境在物理上允许什么，当前身体可实现什么，行动者已有技能可靠完成什么，当前任务值得选择什么。另有规范层决定什么被允许做。它们彼此相关，却不能压成一个“affordance=true”的标签。

层次	台阶案例	判断可能出错的方式
物理条件	台阶承重、摩擦与几何稳定	把贴图当材质，把外观当摩擦
身体条件	腿长、轮径、重心与关节范围	沿用另一身体的可达判断
技能条件	会不会保持平衡、控制越障	把偶然成功当稳定能力
任务条件	直行是否比绕路更合适	忽略负载、时间与风险
规范条件	该入口是否允许通行	把可做到误当成可被许可

这也说明，行动可能性与上一章的上手性相邻却不相同。二者都反对孤立对象属性，也都把行动置于中心；但海德格尔的上手性属于用具、操心与世界性的存在论分析，吉布森的可供性属于动物—环境生态关系。把两者合并成“物体有什么用途”的数据库，会同时削平二者。

计算机视觉中的可供性识别常把问题变成像素或对象分类：哪里可坐、什么可抓、哪个区域可行走。这是合理的工程操作化，可为规划提供先验，却不能证明系统已经获得真实行动可能性。模型可能从床的外观学到“可坐”，但床板已经断裂；也可能把陌生工具判为不可抓，而软夹爪实际能够抓住。标签必须在交互后果中接受校正。

最有力的测试不是让模型给标准物体贴对标签，而是保持外观、改变关系。把坚固台阶换成外观相同的泡沫道具，支撑性应改变。把成人换成轮椅或短腿机器人，可通行性应改变。给机器人安装更大轮径，可越障边界应再次改变。让夹爪沾油，可抓判断应随触觉反馈下降。

还可以反向改变外观而保持行动关系。把门换成不同纹理与风格，只要铰链、把手和锁定状态相同，开门动作应迁移；把杯子换成未见过的颜色，只要几何与材质适合，抓取不应失效。前一类测试防止模型把外观相似误当关系相同，后一类测试防止模型把关系理解缩成视觉模板。

因此，行动可能性预测应带条件：对哪个身体、在什么状态、以什么技能、为哪项任务、在何种风险阈值下。条件越清楚，系统就越不会把一个局部行动空间当成对所有主体都成立的“可行动世界”。

五　机器人闭环

具身 AI 把上述关系变成可运行系统时，需要环境、身体、策略和反馈共同出现。仅在录制视频上预测下一帧，模型可以学习物体通常怎样移动；让机器人在环境里行动，则每个预测都会遭遇执行器延迟、摩擦、接触、遮挡和损伤。身体把预测从旁观描述变成有代价的干预。

Gibson Env 是这一方向的早期代表性平台。它从真实空间的三维扫描构建虚拟环境，使具身智能体在空间与物理约束中进行导航等任务，并设计“Goggles”等方法处理模拟视觉与真实感知之间的差异。论文报告的数据覆盖 572 座完整建筑中的一千四百多个楼层空间。¹⁴⁵ 其意义不在名称恰好向吉布森致意，而在环境不再只播放图像：智能体有尺度、碰撞和路径，观察随移动改变。

不过，进入模拟器也不自动解决具身性。若智能体统一为同一尺寸圆柱，任务只判断是否到达坐标，台阶、把手和工具仍可能没有身体差异。环境可以物理化，行动者却保持抽象。真正的身体相对性要求碰撞形状、运动学、动力学、传感器位置和技能进入可行性判断。

DayDreamer 则把世界模型直接用于真实机器人学习。Philipp Wu 等人在四种机器人场景中让系统从真实交互在线学习，包括四足行走、机械臂拾放和轮式导航。真实身体的延迟、接触和扰动不能由生成器悄悄改写，只能通过后续观察进入学习。¹⁴⁶ 这类结果说明内部模拟可服务实体控制，但不证明机器人具有人的身体经验。

真实机器人最大的价值之一，是错误不能只以画面误差结算。机械臂的抓稳判定若出错，杯子会真的滑落；四足机器人落脚不稳，机体会倾斜；轮式机器人误判台阶，底盘可能卡住。世界模型必须把失败写回身体状态和未来计划，否则同一错误会重复发生。

一个最低限度的具身闭环可以写成：环境与身体共同产生观察。模型根据观察估计环境状态和身体状态。策略选择动作。执行器在真实动力学中施加动作。接触与运动形成新观察。预测误差更新模型与能力边界。这里每个箭头都可能有延迟、不确定性和部分可观测性。

• 视觉模拟：能够做到什么：生成身体与环境看起来合理的运动；仍然缺少什么：动作不一定可执行，接触不一定有后果。
• 物理闭环：能够做到什么：按碰撞、质量和力矩更新状态；仍然缺少什么：可能仍使用固定抽象身体与固定任务。
• 身体相对闭环：能够做到什么：根据形态、身体状态和反馈重估行动；仍然缺少什么：不自动拥有主观身体经验或社会规范。

要检验第三层，可以设计“换身而不换场景”的实验。同一台阶、同一摄像机画面，依次给模型短腿四足、轮式底盘和轮足机体；系统应给出不同路径和风险。再让其中一条腿的力矩受限，若模型仍采用原步态，说明身体状态没有真正进入规划。

还应设计“延迟与感官冲突”实验。视觉回传延迟五十毫秒，触觉延迟十毫秒；夹爪已经接触，画面仍显示尚未接触。稳健系统应保存时间戳与不确定性，避免用过期视觉覆盖新触觉。若融合模块只做同时刻特征拼接，传感器越多反而越容易生成自洽但错误的状态。

再设计“能力学习”实验。系统开始时无法越过十五厘米台阶，经训练学会抬轮或调整重心；它的可行动地图应随技能提高而扩展。若地图始终由固定几何阈值生成，就看不见学习；若一次侥幸成功便永久标为可行，又会把偶然当能力。行动可能性需要成功率、代价、风险和条件，而非单一布尔值。

最强反对意见是：机器人身体完全可以被参数化，所以不需要现象学。连杆长度、关节限制、质量分布、摩擦、传感器噪声和控制延迟都可进入动力学模型；只要方程足够准确，“身体图式”和“我能”似乎只是诗意改名。

这个反对意见有一半正确。对受限控制任务，准确参数化往往比哲学类比更有用。计算可达集、优化轨迹、估计接触力，并不需要先回答身体主体是什么。现象学不能替代标定，也不会自动给机器人增加控制精度。

但它遗漏了评价对象的转换。参数化告诉我们机体是什么，任务中的“我能”还取决于参数怎样在姿势、技能、损伤与环境中组织行动。更重要的是，当一种模型被称为“世界模型”而非某一动力学系统时，评价必须承认世界的可行动结构会随身体能力改变。梅洛-庞蒂的作用不是提供另一套方程，而是阻止我们把一个无身体观察者的几何空间误当成所有行动者共享的完整世界。

因此，哲学与工程在这里各守边界：工程把身体条件参数化并接受闭环测试。现象学指出参数表不等于经验身体，也指出身体并非世界模型末端的执行附件。生态知觉则把评价单位从对象标签转为行动者—环境关系。三者结合能提出更好的测试，却不能据此宣布机器人已经成为身体主体。

六　《黑客帝国》最难模拟的也许是身体

假设一套生成系统可以实时构造城市、房间、人物和事件。使用者戴上头显后，无论向哪里看，世界都延续；走近杯子，细节增加；打开门，门后空间正确；与虚拟人物交谈，对方也记得此前发生的事。视觉、语言、对象持存和交互都已相当强。

最先暴露裂缝的，可能仍是身体。使用者快速转头，画面晚了一瞬；虚拟电梯下坠，前庭没有加速；手穿过桌面，视觉显示接触，皮肤却没有压力；虚拟杯子很重，手臂肌肉仍按空手运动。系统越逼真，跨感官冲突有时越明显，因为身体对反馈的期待也越具体。

《黑客帝国》式设想的困难因此不只是“生成无限像素”。它要让每一次抬手、转头、呼吸、失衡和接触都获得与身体一致的反馈，并在长时间内保持。身体不是只在登录时读取一次的头像参数，而是毫秒级改变观察和世界的连续变量。

这里可以区分三种不可分辨。视觉不可分辨是某个视角的画面难辨真假。交互不可分辨是使用者动作后，环境给出可信后果。身体不可分辨则要求视觉、听觉、触觉、本体感觉和前庭感觉长期协调，并与疲劳、疼痛、重量和技能相容。前两种的进步并不自动推出第三种。

身体不可分辨甚至不是单纯增加渲染分辨率就能逼近。一个以八毫秒延迟响应的低纹理世界，可能比四十毫秒延迟的照片级世界更容易行动。一个触觉粗糙但与接触时机一致的界面，可能比视觉完美而力反馈错位的界面更可信。身体首先要求关系与时序，然后才是表面细节。

同一个台阶再次成为清楚判据。系统若只渲染台阶，它可以对所有使用者显示相同几何。若提供交互，它要让脚或轮子与台阶碰撞。若提供身体相对的世界，它还要根据腿长、轮径、平衡、技能和当前负载改变可迈上、可攀爬、需绕行或需协助的可能。世界没有分裂成四个物理宇宙，但同一物理结构在四种身体中形成四种行动地形。

这也限制“数字身体”的轻率说法。游戏角色有碰撞盒、生命值和动作树，可以形成有效的控制身体；虚拟机器人有精确动力学，可以形成可测试的身体模型。它们都可能在工程意义上具身，却不能仅凭这些结构推出主观的身体感觉、疼痛经验或梅洛-庞蒂意义上的身体主体。本书坚持把功能证据与现象学归属分开。

对世界模型的更现实要求，不是复制全部人类身体经验，而是诚实声明身体合同。若系统只支持键盘角色，就评估键盘动作与环境后果。若支持机器人，就列明形态、传感器、延迟与技能范围。若声称多人沉浸世界，就测试不同身体、辅助设备和行动限制下的可达性。合同越具体，世界性主张越可证伪。

最终，同一台阶之所以对不同身体有不同的世界意义，不是因为几何事实消失，也不是因为每个主体任意发明自己的现实。它是同一环境结构与不同身体能力、技能和情境相遇的结果。成人的一步、幼儿的攀爬、轮椅使用者的阻断与机器人的越障计算，都是关系性的行动可能性。

梅洛-庞蒂让我们看到，身体不是感知之后才被调用的工具，而是空间以“我能”组织起来的条件。吉布森让我们看到，环境的意义不能只写在对象标签中，而要在行动者—环境关系中检验。对技术系统而言，二者共同提出一个朴素而苛刻的标准：换一副身体，世界模型就应当换一张可行动地图。

但即便一套系统能为不同身体正确生成行动地图，世界问题仍未结束。身体行动发生在他人之间，视角、规则和公共记忆又会改变什么可知、可承诺、可共同验证。下一章将从胡塞尔、舒茨与阿伦特进入共同世界：一个可感、可动的环境，怎样进一步成为可由多个主体共享、争议并互相确认的世界。

注释

---

第十九章　共同世界：他者、规则与可验证性

甲在东侧房间看见一只红色木箱，把它推入走廊。乙此时在西侧房间，看不见推箱过程；几秒后开门，应当看见木箱已经挡在走廊中。若乙把木箱推向南端，甲稍后回到走廊，也应遇到同一次移动留下的结果。

这个场景看似只是网络同步。服务器保存木箱坐标，把最新状态发送给两个客户端，就能避免甲看见木箱在东端、乙看见它仍在西端。但两人若同时推动呢？谁先接触，谁有权限移动，动作冲突按什么规则结算，延迟造成的旧画面怎样解释？如果甲声称乙偷走木箱，公共日志却只记录管理员移动，应该相信哪一项证据？

共同世界从这里开始显露层次。第一层是共享对象：不同主体的行动落在同一状态上。第二层是视角差异：甲没有看见乙看见的一切，乙也不应自动获得甲的私人观察。第三层是公共历史：对象为何在此，哪些事件已被公开记录。第四层是规则与验证：谁可以改变什么，冲突如何裁决，记录能否被质疑和修正。

前几章逐步增加了世界的负担。第十六章要求对象可返回、可追问；第十七章加入工具和实践关联；第十八章指出行动空间随身体而改变。现在必须加入复数主体。同一木箱不仅要跨时间、跨视角和跨行动保持，还要在信息不对称、行动冲突与公共解释中维持身份。

胡塞尔的主体间性、舒茨对日常社会世界的分析，以及阿伦特关于复数性和共同世界的政治哲学，不能被翻译成服务器架构。它们处理的是他者、客观性、社会理解与公共生活。工程系统能借用的，是一组边界清楚的判准：共享状态不抹平局部视角，公共历史保留来源，规则对参与者可理解，争议可以通过共同程序得到检验。

图19-1　共同世界的最小技术条件。多个主体从私有观察访问共享对象状态，经并发规则和公共历史处理分歧；共享画面本身不足以构成可复核的共同世界。

一　一个人可以拥有世界吗

一个单人生成环境当然可以形成世界关系。使用者离开房间再返回，木箱仍在；打开箱子，内部内容持存；推动箱子，位置随动作改变。对象、空间、时间和身体不因为没有第二位用户就失效。若把“共同”设为所有世界的先决条件，会否认许多有效的局部系统。

但单人系统可以用一种特殊办法维持一致：所有内容只需相对于同一条观察与行动历史生成。没有另一个视角来揭露背面矛盾，没有并发动作来争夺对象，也没有不同见证人对同一事件提出冲突叙述。它可以是强大的私人环境，却没有承担共同世界的全部压力。

胡塞尔在《笛卡尔沉思》第五沉思中处理他者与客观世界问题。对象对我总以特定侧面显现，但它的客观意义超出我的当前经验：同一对象原则上也能向他者显现。遭遇他者，不只是增加一个外形像人的对象，而是遭遇另一个经验中心；我的“这里”对他是“那里”，他的“这里”对我同样如此。¹⁴⁷

本书不重建胡塞尔关于他者构成的完整论证，也不把登录账户称为先验自我。工程上可保留一个较弱要求：同一对象必须支持多个独立视角，且不同视角之间既能互相对应，又不被压成同一观察。

这两个条件缺一不可。若甲从东面看见木箱上的划痕，乙从西面看见把手，两幅图像当然不同；系统若强迫客户端显示同一画面，就取消了位置差异。反过来，若两幅图像完全由各自生成、划痕和把手不属于同一木箱，系统又只有并列的私人场景。

共同对象不是所有人看见同样内容，而是不同显现可以被归属于同一对象。甲告诉乙“划痕在靠窗一面”，乙绕过去能够查验；乙说“把手松了”，甲随后拉动时应承受同一故障。视角差异不是需要消除的误差，而是互相确认之所以有内容的条件。

同一性还需容纳盲区。乙关门时没有看见甲推动木箱，他的局部观察里木箱位置应保持未知，而不是系统把服务器坐标直接写进他的“所见”。当乙开门，公共对象的新位置才进入他的视野。若所有参与者随时共享全局真值，那是上帝视角控制台，不是多个有限主体的共同经验。

因此，共同世界至少有两份不能混淆的状态。一份是系统用于结算的公共或权威状态，例如木箱当前位置、所有权和碰撞结果；另一份是每个参与者依据位置、传感器和通信获得的局部信息。前者保证行动落在同一对象上，后者保存谁在何时能够知道什么。

一人世界与共同世界的差别，不在用户计数从一变成二，而在模型是否承担“同一性加差异”。两台相机同时渲染同一三维场景，只解决多视角；两个参与者能够行动、隐瞒、误解、交流并互相纠正，才引入主体间的世界负担。

二　他者的视角

要让甲理解乙看见什么，最简单办法似乎是复制乙的相机画面。但复制画面只提供乙的一次观察，不等于取得乙的处境。乙可能知道箱子此前属于谁，可能没有注意到把手，也可能因当前任务只关心通道是否畅通。位置相同不保证相关性、历史和理解相同。

舒茨把胡塞尔现象学推进到日常社会世界。他指出，人们在共同生活中依赖一种视角互换的理想化：我假定如果站到你的“那里”，大体会按相应方式看见事物。同时，在当前实践范围内，我们把某些个人经历与兴趣差异暂时视为无关，假定彼此相关性系统足够相合。这被概括为“视角互惠”的一般命题。¹⁴⁸

它是一种日常理想化，不是事实上的全知或心理复制。甲与乙可能身高不同、知识不同、目标相反；“换到你的位置”并不会使甲自动拥有乙的记忆。互换视点让共同对象可理解，相关性相合让协作暂时可行，但二者都可能失败，也会在冲突中被重新协商。

工程系统可以把这种差异拆成四种：空间差异决定看见哪些侧面。时间差异决定何时获得消息。能力差异决定能执行哪些动作。相关性差异决定哪些事实影响当前任务。只模拟相机位置，最多覆盖第一种。

例如，甲是仓库管理员，乙是送货机器人。甲看见木箱时关心编号与归属，乙关心箱体是否堵塞路径。两者观察同一物体，却使用不同任务表示。若系统要求二者共享同一语义向量，可能同时损失管理信息和导航信息；更合理的是保存公共对象标识，再允许不同主体维护各自相关属性。

• 公共物理状态：木箱案例：位置、姿态、碰撞、损坏；谁可直接访问：由系统结算，按观察条件暴露。
• 局部观察：木箱案例：甲看见划痕，乙看见把手；谁可直接访问：相应主体及获准接收者。
• 私人任务状态：木箱案例：甲查库存，乙清理通道；谁可直接访问：相应主体。
• 公共声明：木箱案例：“木箱已移到南端”；谁可直接访问：可访问公共频道者。
• 证据记录：木箱案例：相机片段、动作日志、签名时间；谁可直接访问：按权限供复核者访问。

表中的“公共声明”不等于公共事实。甲可以发错消息，乙也可能误读；声明的公共性只表示它进入了共同交流空间。物理状态也未必被任何单一主体完整看见，只是系统为了结算而维护。把可访问、可观察、被声称和实际发生四者分开，才能表示谣言、误会与证据冲突。

沟通也不会自动消除差异。甲说“箱子在左边”，左边相对于谁、面向哪一侧？乙收到消息时可能已经转身。共同世界需要参照框架、时间和对象标识，使语言能落回共享情境。只有句子而没有指称解析，交流会生成两个自洽却错开的世界。

他者视角还要求模型保留“不知道”。乙没有进入东侧房间，就不应被赋予里面物体的精确状态；甲没有读取维修记录，就不应自动得知把手早已松动。部分可观测不是需要被后台真值偷偷填满的缺陷，而是多人行动和信息取得的基本结构。

这种“不知道”可以精确表示为候选状态与置信度，不必拟人化为意识体验。乙可能只知道木箱在走廊某处，甲可能掌握精确坐标；后来两人交换信息，候选集合缩小。系统要记录信息从何处获得，才能避免把转述当目击、把旧消息当现状。

因此，视角互认的最低测试不是让甲准确复述乙的全部内部状态，而是检验三件事：甲能否预测乙从其位置可见什么。甲能否区分乙已知、未知和可能误知的内容。新交流到来后，甲的计划能否在不抹平差异的前提下更新。

三　公共对象和历史

共同对象必须比一次相遇更持久。两人今天围绕木箱协作，明天仍可追问它属于谁、为何损坏、谁把它移到南端。若每次登录都重置对象和规则，参与者虽然同屏，却没有积累一个可共同指涉的世界。

阿伦特在《人的境况》中把共同世界与复数性联系起来。她用桌子位于围坐者之间的形象说明：共同之物把人联系起来，也让彼此保持区分。公共领域一方面是人通过言说与行动彼此显现的空间，另一方面是由人造物、制度和场所构成的相对持久背景。共同并不要求所有人变成一个观点。¹⁴⁹¹⁵⁰

这一分析比“大家看同一屏幕”更严格。屏幕可以让人同时在场，却未必有稳定公共对象；数据库可以长久保存对象，却未必让参与者通过言说和行动形成公共关系。阿伦特讨论的是政治行动与公共生活，不是协作软件设计。本章只取两个限制：共同世界需要相对持久的“之间”，并且复数性意味着差异能够出现。

对多人环境，相对持久首先表现为对象身份和公共历史。木箱从东侧移到南端，系统不能只覆盖坐标，还要在必要范围内保留事件：谁在何时提出动作，碰撞如何结算，是否得到授权，后来谁观察到结果。当前状态回答“现在怎样”，事件历史回答“为何如此”。

历史并非每个像素的永久录像。若任务只需恢复库存，保存对象标识、移动时间和操作者可能足够；若发生损坏争议，就需要接触力、传感器证据和版本。保留程度应与系统声明的审计合同相匹配，不应一边删除关键因果，一边承诺可追责。

公共历史还必须区别事实、报告与推断。甲在频道里说“乙私自移动了木箱”，这是带来源的报告。服务器日志记录管理员账户发出移动命令，这是另一项证据。相机只拍到木箱离开画面，没有拍到操作者，又是有限观察。系统不能把三者自动合成一句“真相”，而应保留冲突与证据链。

谣言与公共日志冲突时，日志通常更可核验，却并非天然正确。时间戳可能错位，账户可能被冒用，管理员可以修改记录，传感器也会漏报。公共日志的优势是可重复检查、可与其他证据对齐；它不因被写入数据库就成为公共真理。

这一区分对生成世界尤其重要。生成器擅长补全缺失内容，面对日志空白时可能产出一段最顺畅的解释：乙移动了箱子，所以系统补出乙的动作。作为叙事生成这很自然，作为公共历史却危险。未观察到的行动应标为推断，不能悄悄升级为已发生事实。

公共记录还涉及版本。第一版日志把箱子记在北端，后来发现传感器坐标翻转并更正为南端；如果系统直接覆盖旧值，就看不出为何有人曾作出错误判断。版本化记录应保留旧陈述、修正依据和当前采用版本。可修正性不是历史任意变动，而是变动留下可检查轨迹。

相对持久还意味着共同世界能够跨越参与者更替。丙明天第一次进入仓库，不必重演甲乙的全部观察，却应能取得当前有效的箱子位置、责任状态和必要历史。甲退出后，他作出的有效交接不能随个人会话消失。阿伦特所强调的持久性远比数据库保留期深厚，但这一点至少提醒工程系统：公共对象不能完全寄生在某个用户的上下文窗口中。

语言行动也会改变公共状态。“箱子在南端”是一项可真可假的断言；“请把箱子移走”是请求；“我负责今晚归还”则产生一项承诺。三句话都可以进入聊天记录，系统却不应把它们当成同类文本。若环境支持协作，它要区分描述、指令、授权和承诺何时生效，谁能撤销，以及违约怎样留在公共历史。语义分类仍不能保证规范有效，却比把所有话语压成字符串更接近共同实践。

持久性也会与遗忘、隐私和安全冲突。公共世界不意味着一切永久公开。个人视野、聊天内容和位置可能需要删除或限制访问；删除后，某些审计能力也会下降。合理系统应说明什么被公开、保存多久、谁能查看，以及删除如何影响后续验证。

因此，“公共”至少有三种含义：多个主体受同一对象状态约束；某条信息被共同访问；某项主张能在共同程序中接受检验。三者不能互换。一个木箱可以是共享资源，但其维修记录受限；一条消息可以全员可见，却完全错误；一项事实可以暂时不公开，仍可由获授权者复核。

四　多人技术同步

多人系统首先要解决一致结算。甲和乙同时推箱，服务器需按时间、接触和权限决定结果；网络延迟使客户端短暂预测不同状态，随后再与权威结果校正。对象复制、时钟、冲突解决和断线重连，都是共同环境的必要基础。

最简单架构以服务器保存权威状态，每个客户端只接收可见部分并提交动作。服务器给动作排序，更新木箱位置，再广播结果。事件溯源架构则把动作追加为日志，由事件重建状态。前者便于快速读取当前世界，后者便于审计；实际系统常把快照与日志结合。

但技术同步可能在三个层面“成功而失败”。第一，坐标一致，身份却错绑：甲移动的是一号箱，乙端显示为外观相同的二号箱。第二，状态一致，信息边界却泄漏：乙尚未开门就收到箱子精确位置。第三，记录一致，规则却不正当：系统稳定执行只有管理员能移动公共物品的隐藏规则。

视频生成式交互环境把问题推向新的尺度。Genie 从无动作标签视频中学习潜在动作，让使用者逐帧控制生成环境，证明可交互性可以从大规模视频中学习。¹⁵¹ 但一个用户能左右移动，不等于多个独立参与者共享对象、视野和历史；潜在动作也不自带所有权、轮次和争议程序。

Google DeepMind 2025 年公布的 Genie 3 可从文字实时生成 720p、每秒二十四帧的可导航环境，官方报告几分钟的一致性和约一分钟视觉记忆。更重要的是，官方同时把“多个独立智能体在共享环境中的复杂交互”列为仍在研究的挑战。¹⁵² 这正好说明，从单主体实时生成到共同世界不是增加几个角色贴图。

多智能体的难点不只在算力。若甲和乙拥有不同观察，系统规划时面对的是多个知识状态；甲不知道乙是否已拿钥匙，乙不知道甲是否看见警报，双方行动又改变彼此的信息。状态空间不仅包含对象位置，还包含每个主体认为哪些状态仍可能。

Rintanen 对部分可观测条件规划的复杂性研究给出一个明确但有限的理论警告：在其非概率、命题式模型中，要求成功概率为一的部分可观测条件规划，计划存在问题是 2-EXP 完全。从状态空间转到信念状态空间会带来指数级增加。¹⁵³ 这不是现实多人世界复杂性的总证明，却说明“只把每个人的视野加进来”会迅速扩大规划负担。

多人还加入关于他者的信息层。乙可能不知道甲是否知道钥匙位置；甲又可能根据乙的行动推测其信息。工程系统通常必须截断这种嵌套，只保留任务相关层级、共享摘要或显式通信。截断是合理近似，但系统应测试它在哪些协作或欺骗情境中失效。

可以用两人跨房移动木箱建立技术压力测试：两人从不同房间开始，局部视野互不重叠。甲先移动木箱，乙随后观察。接着两人同时推动。其中一人断线再重连。最后管理员更改通行规则。测试分别检查对象身份、局部观察、并发结算、历史恢复与规则传播。

多视角视频一致只是其中第一项。系统能从两个相机生成同一木箱，说明空间表示较稳。若甲推动后乙的画面不更新，动作未进入共享状态。若乙更新了却提前得到甲的私人视野，信息边界错误。若规则变更后旧客户端仍可越权，规范执行错误。

所以，多人服务器同步是一项必要条件：没有它，行动落在各自副本，谈不上共享对象。但它不是充分条件，因为同步协议只回答哪些位被复制、何时达成一致；主体怎样取得信息、怎样理解规则、怎样质疑记录，不由坐标同步自动给出。

五　规则与可验证性

共同世界并非只有事实，还有“怎样才算有效行动”的规则。门物理上能打开，不表示任何人都获准打开；木箱可推动，不表示可以带走；日志可编辑，不表示修改无需说明。规则限定行动、角色和证据，也决定争议如何结束。

规则若只藏在服务器代码中，系统可以稳定执行，却难以形成可理解的公共秩序。参与者至少需要知道与自己相关的权限、失败原因和申诉路径。乙推动木箱失败，界面应区分“被墙挡住”“力量不足”“对象被锁定”“账户无权限”，否则物理限制与制度限制在经验中混成同一堵无形墙。

规则还要适用于相似情况，或说明为何例外。普通用户不能移动消防设备，紧急状态下指定角色可以；管理员能更正日志，但必须留下版本。若同一动作对不同人产生不同结果，差异应能由角色、情境或公开例外解释，而不是任意发生。

时间也是规则的一部分。乙在十点取得移动许可，十点十五分许可被撤回；系统不能用当前规则重写十点零五分已经完成的有效动作，也不能让旧客户端继续沿用撤回前权限。每次结算应关联当时生效的规则版本。否则，公共历史看似完整，参与者却无法判断过去行动为何有效。

身份同样不能由屏幕名称单独保证。日志写着“管理员移动木箱”，只证明某个被系统认证为管理员的凭证发出了动作，不必然证明某个现实人物亲自操作。共享世界模型可以维护账户、设备和会话链，却应避免把技术身份无条件提升为法律或道德责任主体。责任归属需要制度外的证据和程序。

可验证性则要求一项主张可以被重新检查。甲说木箱在南端，乙可去走廊查看；甲说昨晚乙移动了它，则需调取获授权的动作日志、相机和身份记录。当前观察验证位置，历史证据验证过去行动，两种程序不能混为一谈。

“可验证”不等于“一次查询就有唯一答案”。证据可能冲突、缺失或受权限限制。成熟系统应输出证据范围和不确定性：日志支持管理员账户发出命令，却不能证明账户背后是谁；相机支持某人靠近木箱，却未拍到接触。结论强度不能超过证据。

验证程序本身也要可重复。甲提交查询时，系统不应因其身份偏好一种历史；乙在相同权限、相同版本和相同证据下，应取得可对照结果。如果两次重放不同，差异必须来自新增证据、模型版本或随机假设，并被清楚标记。这里追求的不是让所有解释完全相同，而是让分歧落在可定位的前提上。

还应防止“公开即真实”的捷径。一个公开排行榜可以准确显示投票结果，却不说明投票是否被操纵。一段公开视频可以真实记录某个角度，却遗漏画外行动。一个全员可下载的模型可以复现实验，却仍继承错误数据。公开增加检查机会，不会替代检查。共同世界的可靠性来自多种证据、来源披露和可修正程序的组合。

可以把共同世界能力分成四层：

层次	核心问题	通过的最低证据	仍不能推出
同步	大家是否受同一状态更新约束	并发动作后客户端收敛	视角被尊重、规则正当
一致	不同视角是否指向同一对象与历史	跨视角、断线重连、回访不矛盾	记录真实、参与者理解
验证	公共主张能否追溯来源并复核	日志、观察与版本可对照	证据无偏、裁决公平
规范	规则是否可理解、可争议并稳定适用	权限说明、例外依据、申诉与修正	完整政治共同体或道德正当性

层次之间不能跳跃。区块链式不可篡改日志可以加强某类记录完整性，却不能保证最初输入真实。多数投票可以形成决策，却不能保证少数者视角得到理解。同一代码对所有账户运行，也可能把不合理规则稳定自动化。

谣言案例可以用来综合测试。公共频道流传“乙偷走箱子”，系统不应把高频转发当事实；应保留消息来源、传播链和对应证据。若日志显示管理员移动，仍要检查账户认证与日志完整性。若相机片段与日志冲突，系统应开放争议状态，而非为保持叙事流畅自动生成一个确定结论。

私人视野与公开事实也要有转换程序。甲私下看见箱子损坏，最初只是私人观察；上传带时间和地点的证据后，它可以成为公共可检验主张；经复核后，维修状态进入共享记录。系统若在第一步就广播所有私人观察，会侵犯信息边界；若永远不允许私人证据进入公共空间，又无法修正公共错误。

可验证性还依赖反事实追问。若没有甲的动作，箱子是否仍会移动；若日志中的时间戳早十秒，碰撞次序是否改变；若权限规则当时尚未生效，乙的动作是否有效。世界模型可通过重放与分支模拟帮助审计，但模拟结果是依据当前模型的推断，不是自动恢复真实历史。

这里最容易发生的是把技术秩序当成规范秩序。服务器可以确定“谁赢得冲突”，却不能独自回答规则是否公平；管理员可以公布事实版本，却不能仅凭权限获得真理。共同世界需要结算，否则行动分裂；也需要保留结算为何可接受、如何被挑战的问题。

六　共同世界的剩余规范问题

最强反对意见是：共享状态数据库已经足够。游戏、仿真和机器人群体只要读取同一对象表、遵循同一更新规则，便能协作；要求互认、公共性或规范，只会把政治哲学强加给工程系统。

这个意见对受限任务完全成立。仓储机器人若只需避免碰撞并分配货架，权威状态、锁和任务调度可能已经足够。它不必形成阿伦特意义的公共领域，也不必拥有胡塞尔意义的他者经验。本章不把完整共同世界设为每个多智能体程序的门槛。

问题仍然在主张范围。若系统只称为“多机器人调度器”，数据库合同足够。若称为“多人开放世界”“社会模拟器”“可供人和智能体共同生活的环境”，就必须说明局部信息、身份、历史、规则和争议怎样处理。概念不是给所有系统加同一负担，而是为较强名称分配较强证据。

服务器一致性对应共同世界的物质底座，却不等于主体间性。多个智能体同时运行，对应行动来源的复数，却不等于社会。公共日志为共同验证提供证据，却不等于公共真理。每一个“不等于”都保留已经取得的技术进展，同时阻止它越过证据边界。

阿伦特的复数性尤其反对把共同性理解为同质化。共同世界使不同人围绕同一事务出现；若系统用统一摘要抹掉所有视角冲突，所得不是更强公共性，而是更整齐的单一视角。差异、争论和修正并非同步失败，它们在适当规则下正是公共世界的活动形式。

同样，舒茨的视角互惠是一种实践理想化，不保证观点相同。甲可以尝试从乙的位置理解通道受阻，却仍反对乙的解决方案；乙可以承认甲掌握库存知识，却要求查看证据。互相可理解与达成一致是两回事。系统若只奖励最后共识，会误把沉默、压制或信息缺失当成成功协作。

可以为共同世界写一份有限而可测的能力合同：

1. 对象在不同主体的观察中保持可对应身份；
2. 每个主体只获得由位置、通信和权限允许的信息；
3. 并发动作由已声明规则结算，断线后可恢复公共状态；
4. 当前状态与公共历史区分，报告、证据和推断分别标记；
5. 权限和失败原因对相关参与者可解释；
6. 争议可通过版本、来源和追加观察重新检验；
7. 系统明确哪些规范问题不在其能力范围内。

这份合同仍没有构成完整社会。它不保证参与者具有人格，不证明制度正义，也不处理所有权、责任和信任的全部来源。它只把“多人同屏”提升为一组不易伪装的工程要求，使共同世界主张能够被失败案例反驳。

回到开头：甲移动木箱，乙稍后看见新位置，说明共享对象状态成功。乙此前没有被提前告知，说明局部视角得到保存。二人同时推动而系统按公开规则结算，说明冲突可处理。谣言与日志冲突时保留来源、证据和修正程序，才开始出现公共可验证性。

多人服务器同步之所以只是必要条件之一，正因为共同世界不仅要“大家收到相同坐标”，还要让不同主体从各自位置指向同一对象，在不完全信息中行动，把结果写入可追溯历史，并能对规则和主张提出检验。同步让世界不分叉，视角、历史与规范才让这个不分叉的环境真正成为“我们之间”的世界。

至此，本书关于世界性的哲学判准已经从经验统一、时间持存和空间一致，推进到实践、身体与共同性。下一章将把这些分散要求收束为八维能力向量和主张—证据矩阵，不再争论一个模型抽象地“是不是世界模型”，而是说明它在何种范围、资源与证据下维持了哪些世界关系。

注释

第六部：能力判准

第二十章

第二十章　从模型标签到多维能力判准

有人把能生成逼真视频的系统称为世界模型，也有人坚持只有支持规划的潜在动力学才配使用这个名称。空间智能路线强调可进入、可返回的三维环境，机器人研究者则要求动作能够得到真实后果。争论常以一个二元问题开始：“它到底是不是世界模型？”

这个问题把多项能力压进了一个标签。Sora 或 Seedance 可以生成细节丰富的观察，却不因此提供可执行控制。Dreamer、MuZero 在受限任务中用内部状态支持规划，却不必输出可供人观看的视频。V-JEPA 2 预测抽象表征，并通过行动条件路线连接机器人。Marble 与 RTFM 重点处理可探索空间和视图持存。它们既不是同一种东西，也不是从“假世界模型”到“真世界模型”的单线阶梯。

更好的问题是：一个系统在什么范围内，依据什么证据，维持了哪些世界关系？回答它需要三步。先把“世界模型”拆成可分离的能力维度；再为每一维指定匹配的测试；最后报告范围、资源和失败边界。名称可以保留，证据不能由名称代替。

本章提出八维能力向量：观察生成、状态表示、时间持续、空间一致、行动响应、因果与反事实、具身行动可能性、多主体共同性。它不是世界的终极定义，也不把哲学问题变成八个分数。它是一张审计表，用来阻止画质证据支撑规划主张、单人演示支撑共同世界主张，以及短片成功支撑无限持存主张。

图20-1　八维能力记录（不可直接求和）。观察、状态、时间、空间、行动、因果、具身和共同性必须连同范围、资源与日期记录；不同量纲不能压成一个世界分数。

一　为什么标签失效

“世界模型”在不同研究传统中指向不同输出。强化学习关心压缩状态与未来回报，机器人关心动作后果，生成模型关心观察序列，三维研究关心几何和视图，认知科学还可能讨论内部模型与行动。一个术语覆盖多个合同，本身并非错误；错误发生在合同被偷偷互换时。

World Labs 2026 年提出的功能分类，把当前世界模型分为渲染器、模拟器和规划器：渲染器输出观察，模拟器输出可计算的结构或状态，规划器输出动作。三类可以组合，也可能由同一底座承担。¹⁵⁴ 这是公司提出的实用分类，不是全领域统一标准，但它清楚揭示了输出合同差异。

修订前项目来源表曾把这套分类写成“渲染器、重建器、模拟器、规划器”四类。按 2026 年 6 月 3 日正式文章，一级功能实际只有三类；重建与生成可看作输入证据多少不同所形成的工作方式，不能另列为同级功能。这个更正看似细小，却说明分类必须跟随原始定义，而不能由二手摘要自行扩张。

即使三分法仍不够。两个渲染器可以有完全不同的时间能力：一个生成五秒短片，另一个允许数分钟导航。两个模拟器可以分别处理刚体和流体。两个规划器可以在棋盘与厨房中取得相似成功率，却面对完全不同的状态空间。功能名说明“输出什么”，不能说明“做到多远”。

产品名也不是稳定评价单位。同一系列的新版本可能增加镜头、声音、动作控制或记忆；研究论文的检查点与商业服务又可能不同。写“Seedance 能够……”而不标版本、日期、输入条件和测试范围，常把多个系统的能力拼成一个不存在的超级模型。

标签还掩盖负证据。一个系统在物理基准上失败，不表示它没有观察生成价值；一套潜在模型无法渲染视频，也不表示它不能改善策略。二元裁决倾向于把局部失败变成全盘否定，或把局部成功变成总体认证。

最典型的越级是从“视频看起来像正确后果”跳到“可用于决策”。画面里的机器人抓住杯子，只证明生成结果在观察层可信；规划用途还需要动作条件、反事实排序、闭环执行和分布偏移测试。如果模型只在给定成功轨迹上生成，它甚至可能没有比较失败动作的能力。

反向越级同样存在。MuZero 在围棋、雅达利等任务上学得支持规划的内部模型，并不要求其潜在状态完整重建环境像素。以照片级画质作为判据，会错过“为决策保留必要差异”的模型设计。表示是否好，要看它服务的任务，不由可视化美观决定。

所以，本书不再把模型排成从弱到强的一列，而是先问输出合同，再问能力向量。World Labs 的三功能分类回答渲染、模拟或规划；本书八维回答每种功能在经验统一、持存、行动、身体与共同性上覆盖多少。两者是互补视角，不是竞争定义。

二　八个能力维度

设一个系统的能力记录为

[
W=(O,S,T,X,A,C,E,M)
]

其中每个字母不是预设的零到一分数，而是一组带测试条件的证据。只有在同一协议、同一范围和同一资源约束下，分数才可局部比较。把八项直接相加，或用雷达图面积表示“世界程度”，会制造没有共同量纲的总分。

O：观察生成。 它问系统能否生成与条件相符的感知材料，包括图像、视频、声音或传感器读数。测试可包括提示遵循、清晰度、运动连贯、音画同步和人类偏好。O 高表示输出适合观看或感知使用，不推出内部状态稳定，也不推出动作可执行。

S：状态表示。 它问系统是否保存超出当前画面的任务相关信息，例如遮挡物体、速度、库存、接触和潜在变量。状态可以是显式对象表，也可以分布在网络激活中；关键是探测、预测或控制能否稳定利用。像素重建不是唯一证据，线性探针成功也不是完整证明，因为探针可能读取相关线索而非因果状态。

T：时间持续。 它问对象、事件后果与规则能维持多久。第六至第八章的实体、因果与共同性分析，以及第十六章的滞留和地平线，把“流畅”提升为历史承诺：杯子移走后不能回到原位，失败不能无因消失，返回旧地点要接受过去约束。¹⁵⁵ T 必须报告秒、步数或事件数，不能只写“长时”。

X：空间一致。 它问多视角、位置和场景结构是否相容。绕到对象背面、沿闭环路线返回、编辑后换角度查看，都是直接测试。X 高不必要求显式网格；帧模型也可能形成稳定空间记忆。但单个镜头构图正确、多镜头风格一致或相机运动平滑，都不足以单独证明三维持存。

A：行动响应。 它问系统能否依据特定动作产生稳定后果。给同一初态施加左转、右转、抓取或放下，输出应随动作有可辨差异，并与执行器和环境约束相容。A 不等于普通条件生成：动作必须进入状态转移，错误动作也要留下错误后果。

C：因果与反事实。 它问模型能否在干预和条件改变下重组结果，而不只延续训练共现。改变摩擦、质量、工具状态或动作次序，模型应给出结构化差异；保持原因、改变外观时，结果应尽量稳定。反事实生成一段合理视频只是起点，还要比较替代行动排序、因果方向和校准不确定性。

E：具身行动可能性。 它问系统是否把身体状态、感知、动作与反馈闭合，并随身体能力改变可行动空间。第十八章的台阶案例是最小测试：成人、幼儿、轮椅使用者与轮足机器人面对同一几何，应得到不同可通过性。这里的行动可能性延续吉布森的关系性，不是物体上的固定“可供性”标签。¹⁵⁶

M：多主体共同性。 它问多个主体能否从局部视角指向同一对象，让并发行动落在共享状态，并通过公共历史互相验证。服务器同步属于 M 的基础，但私人信息、冲突规则、来源和修正也要测试。M 高不能仅由“画面里有多人”或同时运行多个智能体推出。¹⁵⁷

八维可以汇成一张检查表：

维度	核心问题	匹配测试	不能据此推出
O 观察生成	看起来、听起来是否可信	提示、画质、运动、音画	稳定状态与规划效用
S 状态表示	当前画面之外保存了什么	遮挡、探测、预测、任务读取	完整世界结构
T 时间持续	历史承诺能维持多久	长隔回访、操作后回访、规则持存	空间或因果必然正确
X 空间一致	不同视角是否属于同一空间	绕行、闭环、编辑后换视角	物理与行动正确
A 行动响应	不同动作是否导致正确差异	动作对照、闭环执行、失败保持	真正因果理解
C 因果/反事实	干预后关系是否正确重组	参数干预、动作替换、策略排序	开放域普遍因果性
E 具身行动可能性	可行动空间是否随身体改变	换身、接触、延迟、损伤测试	现象学身体主体
M 多主体共同性	主体能否共享、分歧并复核	局部视野、并发、日志与争议	完整社会或规范正当性

这些维度既相关又不等同。稳定状态有助于时间持续和空间一致，动作响应有助于反事实，具身闭环依赖前几项；但相关性不能成为代测。一个固定三维场景可能 X 很强、T 近乎无限，却没有 A；一个短时控制模型可以 A 很强、X 很弱；一个多人棋盘 M 的共享状态清楚，却没有丰富 O 或 E。

真正困难的系统往往失败在维度交叉处。模型能长时记住杯子，也能短时预测抓取，却可能无法在十分钟后由另一身体继续抓取；它分别通过 T、A 的简单题，却在 T×A×E 上失败。共同世界也是如此：X 保证两人看到同一房间，M 还要求一人移动对象后另一人的局部观察和公共历史都正确更新。

因此，八维评测不应只放八个互不相干的小测试。先用单维诊断定位失败，再用组合测试检查关系能否同时成立。组合测试必须写出依赖项，例如“长隔回访后的换身抓取”同时依赖 S、T、X、A、E；失败后再回到单维实验分解原因。向量不是把系统拆碎，而是给复杂失败提供诊断入口。

八维也不是形而上学清单。康德关于综合、图式与经验类比帮助提出 S、T、C 的问题，胡塞尔帮助提出持续和可继续性，海德格尔与吉布森把实践和行动可能性加入，阿伦特则迫使评价面对复数主体。哲学提供缺失项与限制条件，不直接给出机器分数。

三　范围和资源是隐藏坐标

同一个维度必须带范围。模型在台球碰撞上有因果证据，不等于能处理布料、流体和人际行动。在十秒内保持物体，不等于十分钟。在一个房间闭环返回，不等于整座城市。为一种机械臂预测动作，不等于跨身体迁移。

因此，每项能力至少报告六个隐藏坐标：任务领域、空间范围、时间跨度、对象与主体数量、精度阈值、允许动作集合。它们决定同一个“成功率”在说什么。省略任一项，都可能把窄域结果扩成开放世界主张。

资源同样属于能力说明。离线用一百次采样选出最佳视频，与单次实时生成不是同一能力；在八张加速卡上运行与边缘设备部署也不同。延迟、吞吐、显存、长期记忆和能耗会改变系统实际支持的行动频率与世界规模。

RTFM 的官方研究预览提供一个清楚例子。World Labs 2025 年 10 月 16 日称其可在单张 H100 上以交互帧率运行，并以带位姿帧和“上下文调度”维持空间记忆。同一文章估算，若朴素生成 4K、每秒六十帧的交互视频，吞吐会超过每秒十万标记，持续一小时的上下文超过一亿标记。¹⁵⁸ 这些是公司口径和设计动机，不是独立成本基准，却说明实时世界能力离不开资源坐标。

修订前项目来源表把 RTFM 记为 2026 年文章，正式页面日期实际为 2025 年 10 月 16 日。日期更正也会改变技术比较：不能把 2025 年系统写成对 2026 年论文的回应，也不能用后来的分类倒推早期团队已采用相同术语。

“持久”尤其需要资源说明。RTFM 以检索附近带位姿帧实现官方所称的无界空间持存，表示运行时间不必让上下文线性增长；但这不等于无限细节、无限动态事件或零存储成本。算法改变了增长方式，没有取消容量合同。

精度与延迟常形成权衡。规划器可以展开更多候选提高决策质量，却错过机器人控制周期；渲染器可以降低分辨率换实时响应；多主体系统可以弱化全局一致以减少网络等待。比较模型时应报告帕累托边界，而不是只取每个系统最亮眼、但彼此不兼容的单项数字。

精度本身也应分层。像素误差低，不保证对象状态正确；对象轨迹正确，不保证接触力可用于控制；平均动作后果正确，不保证罕见碰撞安全。用途合同决定容许误差落在哪一层。为电影预览服务的系统可以容忍微小几何漂移，手术机器人模拟器却不能用视觉可信替代毫米级结构和力反馈。

范围还包含分布。一个模型在训练分布内处理十种杯子，和在未见材质、未见身体、未见任务组合上保持关系，是不同证据。报告“跨域”时应列出域如何变化；只换背景颜色属于外观迁移，换摩擦、工具和控制频率才触及动力学迁移。

一个完整能力记录可以写成：

[
R_i=(\text{主张},\text{范围},\text{测试},\text{结果},\text{资源},\text{失败边界},\text{日期})
]

八维向量中的每一维都应有一条这样的记录。若证据不足，就标“未建立”，不要填零；零表示在规定测试中明确失败，未建立表示尚无匹配证据。二者对研究判断完全不同。

日期锁定也是隐藏坐标。本文的技术比较截止 2026 年 7 月 13 日；闭源产品可能更新，预印本可能修订，官方演示可能补充。能力记录应绑定模型版本与证据日期，后续刷新时只改相应维度，不重写整个标签。

图20-2　主张—证据—用途合同。先声明用途和能力维度，再规定范围、测试、资源与失败，最后限定结论；顺序不能倒置。

四　如何选择匹配证据

评测从主张开始，而不是从现成基准开始。若主张是“生成更可信视频”，人类偏好与物理违例标注合适。若主张是“帮助机器人规划”，就要比较策略排序、闭环成功、模型漏洞和真实执行。若主张是“多人共同环境”，则需并发、私有观察和公共历史测试。

Yang Yu 等人的 2026 年立场论文把世界模型评测组织成 L0—L7 证据阶梯，从视觉可信逐步推进到策略优化效用。作者明确说这些层级横跨多个正交轴，因此是证据层级而非单一标量；对具身决策主张，L0—L3 更多诊断生成产物，L4 开始进入干预，L5—L7更直接检验决策用途。¹⁵⁹

这套阶梯与八维向量承担不同任务。L0—L7问“证据离决策效用多近”，八维问“证据覆盖哪类世界关系”。同一项动作干预测试可能同时支持 A 和 C，但仍不能支持 M；一次闭环策略提升可以给出高层决策证据，却未必说明 O、X 或 E 在开放域成立。

WorldModelBench 针对视频生成模型加入指令遵循与物理遵循评测，并以约六万七千条人工标注衡量十四个前沿模型。¹⁶⁰ 它比通用画质指标更能发现对象大小异常等物理违例，适合支持“输出中某类世界关系更可信”的主张。但人工判定视频不能单独证明模型可用于规划。

WorldBench 又指出物理测试常把多条规律纠缠在同一场景中，于是分别设计直觉物理概念与材料参数层的诊断，包括对象持存、尺度/透视、摩擦系数和流体黏度等。¹⁶¹ 这种解耦有助于定位失败属于哪种关系，却仍是视频型诊断，不自动越级为机器人闭环证据。

主张—证据矩阵可以按以下方式建立：

主张	最低匹配证据	更强证据	常见错配
观察更可信	盲评、条件遵循、违例率	跨域人评与自动指标一致	用单个精选样片认证
状态可用	遮挡后预测、状态探测	跨任务迁移与干预读取	只展示潜在可视化
动作后果正确	动作对照与短滚动	闭环执行、分布外动作	把提示词变化当动作
反事实可规划	替代动作排序	策略排序一致、规划成功、优化提升	只生成一个合理未来
空间可持存	闭环路线与多视角	长隔回访、编辑后验证	只看相机平滑
具身可用	身体状态与接触反馈	换身迁移、真实机器人闭环	有机器人画面即算具身
共同世界可用	共享状态与局部视野	并发、历史、争议复核	多人同屏即算共同性

基准成绩还需要失败分析。平均分可能由容易样本抬高，掩盖关键安全条件；总物理分可能把固体性、摩擦和碰撞混合；规划成功率可能来自策略利用模型漏洞。报告应给分项、置信区间、分布外测试和最坏类失败，而不是只公布排名。

精选演示与系统评测也要分开。演示回答“至少有一次能做到什么”，适合发现能力；随机或预注册测试回答“在规定分布中多可靠”，适合估计性能；对抗测试回答“最容易在哪里坏”，适合界定边界。三类证据都重要，但不能把第一类的存在性证明写成第二类的可靠性结论。

人工评分器和自动评分器同样需要校准。人类擅长发现违反常识的整体事件，却可能受画质和叙事偏好影响；自动指标可扩展，却可能漏掉新型失败。较稳妥的协议用人工标注定义错误类别，验证自动评分器的一致性，再对高风险和分布外样本回到人工复核。

“模型漏洞”是决策评测的核心风险。策略在模型内部找到现实中不存在的捷径，会在模拟里取得高回报，部署时失败。只测预测误差不一定发现这种定向利用，因为策略专门寻找误差最大的区域。应让策略在模型中优化，再到保留环境或真实系统检验，比较性能提升是否能转移。

证据合同最终应允许拒绝。一个视频模型没有公开动作接口，就应写“A 未建立”，而不是从演示推断行动能力。一个机器人模型不输出高清画面，就不必在 O 上被判失败，除非其用途合同需要人类可观看观察。评价不是强迫所有模型参加同一考试，而是防止它们用不相关考试支撑强主张。

案例框 12　同一个“世界模型”结论如何被改写

情境：某团队发布一个能生成清晰机器人视频的模型，并称其“具备世界理解”。现有证据只有人类画质偏好、短时物理违例率和几段交互演示。

评测卡改写：对象为指定 API 版本。用途是机器人策略训练。O 有直接证据，短时 T 和部分 A 只有产物层证据。没有策略排序、闭环提升、真实执行和不确定性测试。资源与版本漂移未报告。

允许结论：该系统能生成条件相关的机器人观察，并在有限演示中响应控制输入，可作为合成数据候选。

不允许外推：尚不能据此认定动作后果足以规划、策略能从模型转移到现实，或系统形成开放具身世界。

判断：多维框架不是给宣传语降分，而是把一个过强句子改写成几条可验证、可继续增补的陈述。

这个改写例子展示了框架的基本动作：不急于裁定系统身份，而是把主张拆成已证、未测和不可外推的部分。

五　五类模型的证据画像

现在可以比较五类路线。下表不是精确评分，也不把同一类别中的全部模型视为相同；它记录截至 2026 年 7 月 13 日，前文案例最容易由公开证据支持的能力，以及仍需补充的空白。

模型家族与案例	较直接的公开证据	主要空白	适合的条件性表述
视频生成：Sora、Seedance	O；短中时 T；部分镜头与音视频约束	可执行 A、干预 C、真实 E、M	高质量观察生成器，部分吸收世界关系
潜在动力学：Dreamer、MuZero	任务内 S、A、规划效用；部分 C	人可观看 O、开放 X、跨身体 E、M	为特定决策任务压缩和展开后果
预测表征：V-JEPA 2/2-AC	S、抽象预测；行动条件桥接 A	像素 O、长期开放 T/X、广泛 C/M	保留行动相关差异的预测表示路线
空间智能：Marble、RTFM	O、X、空间回访与编辑；部分 T	动态物理 A/C、具身 E、多主体 M	可探索、可返回的空间生成/渲染系统
交互生成：Genie 3 等	O、导航型 A、分钟级 T 的官方证据	开放动作、精确物理 C/E、独立多主体 M	实时可控的生成环境，动作合同仍有限

视频生成路线的强项不是“只有像素”。长视频、多镜头、原生声音和复杂动作迫使模型吸收对象、事件和媒介约束；WorldModelBench 一类基准也能测出物理差异。问题在于这些证据主要来自生成产物。没有动作对照和闭环执行，就不应把较高 O、T 直接改写为规划能力。

潜在动力学路线则相反。Dreamer 在学习状态中展开未来，MuZero 学习支持价值、策略和奖励预测的内部动力学；它们的成功证明在声明任务中，压缩表示可支持决策。它们不需要保存所有视觉细节，也不自动形成可长期居住的三维世界。高规划效用是局部合同内的强证据，不是八维全满。

V-JEPA 2 位于表示与行动之间。它避免把像素重建当唯一目标，强调预测抽象表征；V-JEPA 2-AC 再以动作条件路线连接机器人规划。该路线适合检验 S、A 与部分 C，但“非像素”既不天然更因果，也不天然丢失细节。必须通过干预、迁移和真实执行确认哪些差异被保留。

Marble 与 RTFM 展示空间路线的不同方式。Marble 输出可探索三维表示与碰撞网格，RTFM 以带位姿帧作为空间记忆、实时生成视图；前者更接近显式结构，后者是学习渲染器。二者都能加强 X 和部分 T，但空间可返回不等于物理模拟正确。World Labs 自己的三功能分类也把渲染与模拟合同分开。

Genie 3 一类交互生成环境把用户动作持续送入生成循环，因而比开环视频有更直接的 A 证据。官方材料同时把动作空间有限、多人独立交互仍具挑战列为限制。把可导航称作实时交互是准确的，把它称作开放具身共同世界则超出证据。

五类画像没有总冠军。影视创作优先 O、T 与镜头合同，机器人控制优先 S、A、C、E，空间设计优先 O、X、T，多人训练还要 M。用途改变，证据权重就改变；所谓最佳世界模型只能在先声明任务后成立。

也不能把表中“主要空白”读成绝对无能力。空白表示公开证据不足或测试合同不匹配，不表示内部一定不存在。评价者的纪律是只写证据可支持的强度，并明确下一项能改变判断的实验。

六　四个具体系统的文献证据画像

下面按照同一格式整理四个具体系统。这里不用零到一分数，也不计算雷达图面积。每项只写“已有直接证据”“有限或间接证据”“未建立”，并绑定公开版本与测试范围。

这四项是文献证据画像，不是本书独立运行模型所得的基准结果。证据来自论文、模型卡和官方系统说明；本书没有建立统一调用环境，也没有获得足以对四个系统进行同协议复测的访问条件。因此，下面只示范如何把模型名称改写成条件性能力记录，不声称完成了横向性能排名。

Seedance 2.0：多模态观察生成器

截至 2026 年 4 月公开模型卡，Seedance 2.0 接受文字、图像、音频和视频参考，生成四至十五秒、480p 或 720p 的音视频，并支持多模态参考与编辑。¹⁶² 这些材料直接支持 O：系统能够在复杂条件下生成可观看、可听见的观察；多镜头、身份、声画和参考绑定还提供有限 T、X 证据。

它的范围由短时输出、平台输入上限和官方/用户评测规定。模型卡没有给出可执行机器人动作、同一初态的成对干预、闭环策略提升或跨主体共享状态，因此 A、C、E、M 应写“未建立”，而不是写成零。较准确的说明是：它是高能力多模态观察生成与编辑系统，吸收了部分对象和事件约束；公开证据尚不足以把这些约束改写为具身规划能力。

DreamerV3：任务内潜在决策模型

DreamerV3 使用潜在世界模型从观察和动作学习状态转移，并在想象轨迹中训练策略。论文以一套配置覆盖超过一百五十项任务，并报告从像素与稀疏奖励出发在 Minecraft 收集钻石。¹⁶³ 直接证据集中于任务内 S、A 和规划/策略效用，部分 C 来自动作条件后果和长期价值排序。

它不以高清观察输出为用途，因而 O 未建立不应被当作缺陷。其 T 受训练任务、潜在展开视野和闭环数据收集限定；X、E 只在具体控制环境中获得局部证据，M 没有对应合同。适合的说明是：DreamerV3 在多种明确定义的交互环境中，以选择性潜在状态支持数据高效控制；这证明任务充分性，不证明可居住的开放三维共同世界。

V-JEPA 2-AC：从观察表征到窄域规划

V-JEPA 2 先从超过一百万小时互联网视频与图像学习预测表示，动作条件版本再用不足六十二小时 DROID 机器人视频后训练，并在两个实验室的 Franka 机械臂上进行图像目标规划。¹⁶⁴ 这为 S 提供较强表征证据，为 A 和有限 C 提供真实机器人规划证据；它还说明大规模无动作观察可与少量动作数据组合。

范围同样清楚：特定机械臂、控制接口、图像目标和有限操作任务。长期 T、开放 X、跨身体 E 与 M 未由同强度实验建立。它可以被描述为“表征预测路线向动作条件世界模型迈出的窄域实例”，不能写成只靠互联网视频已经获得通用物理行动能力。

Marble：可探索和可编辑的空间系统

Marble 的官方材料显示，它可从文字、图像、视频、多视角输入或粗三维布局生成、扩展和编辑可探索三维世界，并导出高斯泼溅、网格和视频。¹⁶⁵ 这些功能为 O、X 和部分 T 提供直接产品证据；局部编辑与多视角传播又给 S 的空间状态承诺提供有限支持。

当前公开材料主要来自官方系统说明，物理动作、材料参数、真实机器人闭环和独立多主体交互没有同等强度证据。因此 A、C、E、M 仍未建立或只由外接引擎间接提供。适合的说明是：Marble 在生成、重建、编辑和导出三维空间方面展示了较强空间持存，仍需把可导航资产与动作条件模拟分开评价。

在这一证据等级下，四项记录可压缩为：

• Seedance 2.0：直接证据较强：O；有限证据：短时 T、部分 X/S；未建立或主要空白：A、C、E、M。
• DreamerV3：直接证据较强：任务内 S、A、决策效用；有限证据：T、部分 C/E；未建立或主要空白：开放 O/X、M。
• V-JEPA 2-AC：直接证据较强：S、窄域 A；有限证据：部分 C、真实闭环 E；未建立或主要空白：长时 T、开放 X、M。
• Marble：直接证据较强：O、X、部分 T；有限证据：空间 S、编辑一致；未建立或主要空白：动态 A/C、具身 E、M。

表中“未建立”不是否定能力存在，而是拒绝用不匹配的公开证据填空。由于没有统一独立复测，这些画像不能回答“谁更强”，也不能把开发者报告的数字视为同一量尺。它们只回答：截至核验日，公开材料能支持什么强度的陈述。

这样的证据画像允许未来更新：新动作接口只改变 A/C 记录，独立长期回访改变 T/X，真实机器人实验改变 E；无需把整个系统重新命名。

一张可直接填写的评测卡

为了让八维框架能够复用，可以把每次评测写成同一张卡，而不是一段自由评论：

字段	应填写的内容
系统对象	模型名、检查点/API版本、日期
声明用途	观看、预测、规划、训练、共享环境等
能力维度	O/S/T/X/A/C/E/M 中本次实际涉及者
范围	领域、空间、时长、对象数、主体数、动作集合
协议	数据来源、初态、干预、采样次数、基线
结果	均值、分项、置信区间和最坏类
资源	硬件、延迟、吞吐、记忆、采样预算
失败边界	已知失效、分布外、可利用漏洞
证据等级	演示、系统评测、独立复现、真实闭环
允许结论	可以支持的用途与明确不能外推之处

这张卡先迫使评价者写“系统对象”。闭源产品在一周后更新，旧结果仍可归于调用日期；开放模型则可用权重哈希固定。再写声明用途，防止一个用于影视预览的模型因为没有机器人接口被误判，也防止一个声称支持决策的模型用人类偏好分数回避闭环测试。

卡片还把“未建立”和“失败”分开。没有动作接口时，A 是未建立；有明确动作测试而结果接近随机时，才是失败。没有多主体实验时，M 未建立；服务器同步冲突频繁且无法恢复，才是负面证据。缺失值不能填零，否则没有测试的系统反而显得被确定地测量过。

跨系统比较时，只能在卡片重叠部分比较。两套系统若任务领域、时间跨度和采样预算不同，先报告各自边界，再设计共同子协议；不能把官方最好设置中的数字直接并排。若共同子协议牺牲了某系统的原生用途，也要保留原生评测，形成“统一测试＋用途测试”两栏。

八维框架的客观性不来自消除判断，而来自让判断位置可见。选择哪些维度、怎样规定成功、哪些风险不可接受，仍包含用途和价值。评测卡要求把这些选择写出来，使他人能够复核、反驳或换一种权重，而不是把它们藏进单一总分。

七　从判定转向有条件说明

一个合格的世界模型能力说明，可以使用以下模板：

截至某一日期，系统在某领域、某空间与时间范围、某动作和主体集合内，经某项测试显示了哪些维度的能力。结果在何种资源和延迟下取得。已知失败是什么。因此支持哪些用途，不支持哪些更强结论。

例如，对视频系统可以写：“在给定提示的短视频生成协议中，该版本取得较强条件遵循与较低物理违例，支持 O 及有限 T。尚无动作对照、闭环规划和换身测试，因此 A、C、E 未建立。”这比“它不是世界模型”提供更多信息，也比“它已经理解物理世界”更可检验。

对潜在控制模型可以写：“在指定游戏或机器人任务中，内部状态提高策略规划并在保留环境转移，支持任务内 S、A 和决策效用。该证据不要求高清 O，也未覆盖开放空间持存与多主体共同性。”缺少画面不是缺陷，除非用途需要画面。

对空间系统可以写：“在官方演示和给定硬件下，系统支持实时新视图与长程空间回访，形成 O、X 与部分 T 证据。动态物理、接触、跨身体行动和独立多人交互尚未由同等强度测试建立。”这既承认进展，也保留模拟器与共同世界合同。

最强反对意见是：八维本身带有哲学选择。它重视对象持存、因果、身体和共同性，却可能遗漏语言、情感、价值、制度、生态和文化；维度之间也会相关，未必是最小正交基。

这个反对意见成立。八维不是从自然中唯一读出的坐标，也不是世界的充分必要条件。它由本书的问题史构成：从康德的经验统一，到胡塞尔的地平线、海德格尔的实践、梅洛-庞蒂与吉布森的身体关系，再到阿伦特的共同世界。换一种用途，完全可以增加语言规范、制度持续或生态代价维度。

回应不是宣称八维完备，而是让框架开放且可审计。新增维度要说明它与现有项的差别、匹配测试和不可推出项；删除维度也要说明为何其失败不会影响目标用途。框架的价值不在数字八，而在主张、范围、证据、资源和失败之间不再跳步。

这也解释为什么不能计算雷达图面积。O 的人类偏好分、T 的分钟数、A 的成功率和 M 的冲突恢复率没有天然共同单位；给它们任意归一化并加权，只会把评价者偏好伪装成客观世界分。更诚实的做法是保留向量、阈值与帕累托关系。

从现在起，“世界模型”可以继续作为领域通称，但每次使用都应附能力说明。讨论焦点从身份判定转向条件性陈述：它为谁生成什么，在多长时间和多大空间内，接受哪些动作，维持哪些对象与规则，以什么资源运行，在哪些边界失败。

这个转向为最后一个问题准备了接口。八维告诉我们世界能力由哪些方向组成，却还没有回答有限系统能把它们同时扩展到多远。下一章将提出世界容量上确界猜想，讨论空间、时间、精度、行动自由度和参与者数量的联合扩展是否存在不可消除的边界。那将是一个可证伪猜想，而不是由本章向量自动推出的定理。

框架怎样随新证据更新

能力记录应采用增量更新，而不是每次发布新版本就重做身份争论。若 Seedance 增加动作接口，先为 A 设计同初态动作对照；若 Marble 增加动态物体，更新 T、A、C 的测试；若 Dreamer 接入多人环境，再新增 M 的并发和历史协议。新证据只改变它真正触及的格子。

更新也需要保留旧版本。产品升级后，能力可能提高、下降或改变取舍；覆盖旧记录会失去历史。较好的登记表把版本、日期和协议作为主键，允许同一模型家族出现多条记录，并注明测试是否完全可比。这样才能研究能力如何随资源和接口变化，而不是只保留最新宣传。

框架本身也可修订。若未来研究证明语言规范、制度持续或生态关系不能由现有八维充分表达，可以增加维度；但新增项必须给出独立问题、匹配测试和与旧项的区别。开放性不是任意扩张，而是每次修改都留下理由与迁移说明。

这种版本化使评价成为知识积累。一次失败不是给模型永久贴标签，而是界定当时版本、范围和证据；一次成功也不能抹掉未测边界。随着新实验进入，能力画像逐渐变密，结论可以增强，也可以被反例削弱。

独立复现怎样提高证据等级

同一项能力由开发者演示、受控系统评测和独立复现支持时，结论强度不同。演示可以发现可能性，却通常由团队选择提示、轨迹和成功样例。系统评测固定协议并报告失败分布，能够把偶然成功与稳定能力分开。独立复现再检查结果是否依赖未披露的数据处理、隐藏服务、特定采样预算或人工挑选。三者不是互相排斥的门槛，而是逐级补足证据。

闭源系统也可以接受有限独立检验。评测者应保存调用日期、接口参数、输入、原始输出、重试次数和费用，并把版本漂移列为不确定性。开放权重则还应记录代码提交、权重哈希、依赖版本和硬件。两类系统都要区分“无法复现”与“尚未获得访问”：前者说明在同一合同下结果不稳定，后者只说明证据仍有缺口。

复现还应包含负面样本。只重跑论文中的最佳提示，容易把复现变成展示复制；更有价值的是预先登记失败类别、改变初态或动作，并检验结论在合理扰动后是否保持。八维能力记录因此要附证据等级：官方演示可建立候选能力，系统评测可建立受限能力，独立复现和真实闭环则允许更强的用途判断。证据升级应提高陈述强度，而不是把系统从一个标签突然改判为另一个标签。

注释

结语：世界容量上确界猜想

开放猜想与全书收束

本书从一个谨慎的否定开始：像一个世界，还不是世界模型。逼真的影像可能没有可执行的动作，稳定的三维场景可能没有因果后果，擅长规划的潜在状态也可能不能生成可观看的观察。经过二十章，我们又得到一个同样需要谨慎的肯定：所谓世界能力不是单项神迹，而是在观察、状态、时间、空间、行动、因果、身体与共同性之间维持关系的能力。

现在要冒一次更大的风险。只要这些能力必须在有限计算系统中联合实现，它们的扩展是否终会遭遇一个无法通过增加参数、硬件或更好算法彻底取消的边界？本书把这个问题命名为“世界容量上确界猜想”（World Capacity Supremum Conjecture，WCSC）。它不是定理，也不是由康德哲学演绎出的结论；截至 2026 年 7 月 13 日，它只是一个有意暴露反例条件的研究猜想。

猜想的价值不在于给“世界”封顶，而在于迫使讨论写清楚三件事：什么量正在增长，资源条件是什么，什么观察会让主张失败。若不做这些限定，“有限机器当然有限”只是同义反复，“宇宙信息有限”又离实际系统太远，“规划很难”则把不同形式问题混为一谈。真正值得检验的，不是某台机器会不会用完显存，而是多种世界关系的联合前沿如何随技术和资源移动。

图结-1　世界容量前沿。空间、时间、精度、动作自由度和主体数量共同消耗计算与记忆预算；可达能力区域表示受资源约束的联合前沿，而非固定不变的单一上限。

一　从世界模型到世界容量

第二十章提出八维能力向量：

[
W=(O,S,T,X,A,C,E,M)
]

其中，(O) 是观察生成，(S) 是状态表示，(T) 是时间持续，(X) 是空间一致，(A) 是行动响应，(C) 是因果与反事实，(E) 是具身行动可能性，(M) 是多主体共同性。这个向量回答“系统维持了哪些世界关系”，却还没有回答“这些关系能够在多大范围内同时维持”。

世界容量就是后一问题的工作概念：有限系统在空间范围、持续时间、观察与动力学精度、可执行动作、参与者数量、状态一致性等方向上，能够持续维持的世界范围。它不是参数量，不是上下文长度，也不是某个基准的总分。十亿参数可以服务于短片生成，也可以服务于受限规划；一百万标记可以存放重复画面，也可以存放高密度事件。资源是条件，容量描述的是资源最终支持了什么关系。

可以把一个具体容量记录写成向量

[
c=(\ell,\tau,p,a,n,\kappa),
]

分别表示空间尺度、持续时长、有效精度、行动分支、参与主体与跨时跨主体一致性。这里的六项不是唯一坐标，也不与上一章的八项一一对应。八维向量描述能力种类，容量向量描述这些能力展开到多远；前者像合同目录，后者像合同规模。若研究流体、触觉或社会规则，还可以增加材料复杂度、传感模态或规范状态等坐标。

容量不能脱离测试协议。一个房间的“十分钟持存”可能意味着摄像机离开后回来时家具仍在，也可能意味着十分钟内所有物体都按可干预动力学连续演化；二者成本与证据完全不同。因此，对协议 (P)、资源预算 (B)、最大响应延迟 (L) 和容许误差 (\varepsilon)，定义可达区域：

[
\mathcal F(P,B,L,\varepsilon)={c:\text{系统在协议 }P\text{ 下达到容量向量 }c}。
]

这个表达式不是现成的测量定律，而是一项报告纪律。(B) 应至少说明计算、存储、带宽和能量。(P) 应说明任务分布、观察者能提出哪些查询、动作如何进入系统、失败怎样计分。(L) 区分离线挑选和实时交互。(\varepsilon) 则区分影视预览可接受的漂移与机器人控制不可接受的接触错误。

可达区域通常不会是一条整齐曲线。扩大空间可能迫使系统降低精度，增加参与者可能缩短可保留的公共历史，提高行动频率可能减少每一步可用于规划的计算。若一个容量向量在所有坐标都不劣于另一个，并至少一项更好，它才构成明确改进；若各有得失，就位于不同的帕累托方向。由于分钟、米、错误率和参与者人数没有天然共同单位，不能把它们随意归一化后相加成一个“世界分”。

世界性条件还要作为过滤器加入。一个系统即使能生成无限长的随机纹理，也没有因此获得无限世界容量；一张可任意放大的静态分形图，也不能直接推出有行动、因果、身体和共同历史的世界。本书借康德追问经验统一，借胡塞尔追问地平线可继续性，借海德格尔、梅洛-庞蒂和吉布森追问实践与身体关系，借阿伦特追问复数主体的共同世界。这些条件规定“什么增长值得计入”，却不提供一个物理上界，更不能替代工程测量。

因此，世界容量至少包含三层：固定协议下的可达区域，技术世代推动的经验前沿，以及把无意义扩张排除在外的最低世界性条件。把三层混在一起，就会把一项几乎显然的有限性，偷换成一个远未证明的普遍结论。

二　弱版本：固定系统的可达区域

弱版本可以表述为：在协议、有限资源、延迟与误差预算固定时，一套具体系统的世界容量形成有界可达区域；它不能在所有方向上无代价扩张。这里的“有界”是操作性的：测试要求系统保存或按需重建可区分状态，回答有限时间内到来的查询，并在规定误差内产生观察或动作后果。只要每一步计算、存储和通信都有有限预算，能够同时兑现的承诺就不会无条件增加。

一个单人房间说明了弱版本。系统可以把房间压缩成几何、材质、对象状态和少量动力学，在用户转身时按需渲染未见区域。它不必逐像素保存每一视角，也不必模拟无人观看处的全部微观过程。通过压缩、检索和按需生成，可信空间可能远大于显存中直接展开的画面。

然而，把房间改成长期开放的多人环境，合同会改变。甲移动了桌下的箱子，乙稍后从另一扇门进入；丙只知道旧位置，丁在断线后重连。系统不仅要画出各自视图，还要处理并发动作、私人信息、冲突、公共日志和可追溯修正。如果物体可破坏、流体可倾倒、工具可组合，隐藏区域也不能每次随意补画，因为过去行动已经在那里留下承诺。按需生成节省了展开成本，却没有取消承诺成本。

这正是“观察者有限”这一反对意见的力量和限度。系统只需回答实际查询，而非预先实例化宇宙的每个细节，因此容量可以借惰性计算显著扩张。但查询是可组合的：用户可以返回、比较、干预，让另一主体核验，或要求解释某一后果来自哪段历史。未观察处可以延迟生成，已经公开并进入因果链的差异却不能免费遗忘。世界容量测的不是后台铺了多少像素，而是系统面对可允许查询时能兑现多少相互关联的承诺。

当前实时空间生成已经公开暴露这类取舍。World Labs 在 2025 年的 RTFM 研究预览中估算，朴素生成 4K、每秒六十帧的交互视频需要超过每秒十万标记，一小时上下文则超过一亿标记。该系统以带位姿帧和上下文调度避免朴素线性保留，并称可在单张 H100 上交互运行。¹⁶⁶ 这些是研发方的估算和设计说明，不是独立证实的普遍规律。它们仍清楚展示：算法可以重写成本曲线，却必须选择保存什么、何时检索以及允许怎样的近似。

计算复杂性结果也只能局部支持弱版本。Bylander 对命题 STRIPS 规划的研究表明，一般 PLANSAT 在其形式化下是 PSPACE 完全的，而受限或有界变体可能落入 NP 完全或多项式时间。¹⁶⁷ Papadimitriou 与 Tsitsiklis 对特定马尔可夫决策过程问题给出了多项式算法与 P 完全性结果；Mundhenk 等人进一步显示，有限时域、表示方式与可观察性变化会带来不同复杂性类别。¹⁶⁸ “规划”不是一个固定复杂性标签，难度取决于问题怎样编码、时域如何给出、系统能观察什么以及要判定什么。

开放时域和部分可观察性会出现更尖锐的局部边界。Madani、Hanks 与 Condon 在明确奖励模型和阈值问题下，证明某些概率规划以及相应无限时域部分可观察马尔可夫决策过程的策略存在问题不可判定。Rintanen 在一种非概率命题式部分可观察条件规划中，得到概率一成功的计划存在问题为 2-EXP 完全，确定性算子情形为 EXPSPACE 完全。¹⁶⁹ 这些结果说明某些形式合同极其困难，甚至不存在通用判定程序；它们没有证明所有现实世界模型都同样困难，也没有给多维世界容量提供统一上界。

尤其不能说“世界容量上确界猜想是 NP 完全的”。NP 完全描述一类判定问题在多项式归约下的复杂性，而 WCSC 目前是一项关于多维经验前沿的猜想，尚未被形式化成一个有输入规模、是非答案和归约关系的判定问题。把“很难”简称为 NP 完全，既误用术语，也遮蔽了 PSPACE、EXPSPACE、不可判定与多项式可解之间真正重要的差异。

物理边界同样要精确使用。Landauer 论证逻辑不可逆的信息擦除具有最低热耗散；Bennett 则说明理想化可逆计算能够避免把每一步逻辑操作都等同于这一耗散，关键成本出现在擦除等不可逆过程。¹⁷⁰ 这给“信息处理并非无条件免费”提供物理背景，却不能推出每次模型推理都固定支付 (kT\ln 2)，更不能从热力学下限直接算出某个视频系统能维持多少房间。

所以，弱版本接近一个受约束工程事实：固定合同与预算意味着可达区域有限，扩展常伴随权衡。它不需要宏大哲学证明，也不值得被包装成新定律。真正有风险的主张从资源与技术不再固定时才开始。

三　强版本：上确界与边际收益递减

先区分三个词。在单一标量或已经规定的次序中，最大值是可达集合里实际被某个系统达到的最高值。上确界是所有可达值的最小上界，它可以永远不被任何系统达到。极限描述某个指定序列在给定收敛意义下趋向哪里。多维帕累托偏序未必给出一个“最好点”，所以本章所说上确界，操作上指各容量坐标共同有界、前沿存在有限包络，而不是把各维相加所得的唯一数值。存在有限包络，不自动表示技术前沿必然平滑趋近它；观察到边际收益递减，也不证明背后一定有有限上界。

强版本 WCSC 1.0（2026-07-13）可以这样表述：在明确的物理资源包络、响应延迟和误差阈值下，并且只计入满足最低世界性条件的系统时，现实可实现系统的联合世界容量帕累托前沿是有界的。随着硬件与算法推进，对该前沿投入更多可用资源所获得的联合容量增量最终趋于递减，因而不存在一种方法能在空间、时间、精度、行动自由度、参与者数量和一致性等方向上持续、无代价地同时突破。

“明确的物理资源包络”是不可删除的限定。若允许系统不断占用更多土地、能量、计算节点和运行时间，那么“有限上确界”很可能只是定义不清：再增加一座数据中心，就可以多服务一些主体。再延长运行时间，就可以多保存一段历史。强猜想只能针对规定的时空区域、能量预算与可达技术，或针对一条预先声明的资源增长计划。没有这个分母，容量增长曲线无法比较，所谓普遍封顶也没有可检验对象。

这使强猜想包含两个强度不同的命题。较可操作的经验前沿命题是：在稳定协议和资源归一化下，跨技术世代观察到的联合容量收益最终递减。更强的物理包络命题是：对一个有界时空与能量区域，所有物理可实现的算法和硬件所形成的容量集合存在有限上界。前者可以由基准的多年曲线支持或削弱，后者需要物理理论、计算模型与操作性信息概念共同限定，远超当前证据。

Bekenstein 对有界系统提出的熵—能量比上界，为第二个命题提供了背景动机，但不能直接当作人工智能容量定理。Hayden 与 Wang 对“Bekenstein 界究竟约束什么”的分析，恰好显示操作性定义的重要性：在他们研究的受限 Unruh 信道设置中，经典与量子通信容量满足相应边界，但当限制只施加于解码端时，某些零比特资源可以规避简单表述。编码端和解码端如何受限会改变结论。¹⁷¹ 从物理熵或通信容量到对象持存、行动自由和共同验证，中间缺少一整套尚未建立的桥梁。

强猜想因此不是“有限机器有限”的放大版。固定系统的状态数有限，并不能证明技术系列具有共同有限上界；一代算法的饱和，也可能被下一代表示方法重置。卷积、注意力、稀疏化、检索、分层记忆、可逆计算或新的硬件范式都可能改变同一预算下的前沿形状。若现实高度可压缩，少数生成规律还可能支持远超逐状态枚举的空间与事件。

世界也不必被完整复制才可行动。物理学用有限规律描述巨大范围，生物体以有限感知在开放环境中生活，工程系统可以只保留与当前任务相关的状态。第十二至第十五章讨论的潜在动力学、JEPA、空间智能和机器人路线都表明，选择性表示不是缺陷，而常是有效规划的前提。一个优秀系统也许无需接近“宇宙模拟”，只需在每次真实查询到来时给出足够一致的局部延续。

但压缩并非魔法。规律需要初始条件，近似需要误差合同，混沌动力学会放大微小差异，多主体行动会不断写入不可由少数静态规律预先压缩的新历史。真正的联合容量压力常出现在规律、例外、干预和公共承诺交叉处。强猜想赌的是：当最低世界性条件不允许系统随意改写过去时，选择性展开虽能不断推远前沿，却不能让所有维度永久同步高速增长。

目前能支持这项赌注的证据很弱：在固定资源下重复出现帕累托权衡。跨架构都能复现时间、精度、行动频率和主体数量之间的交换。形式复杂性与物理信息成本在局部问题上与工程饱和相互呼应。它们最多提高猜想的可信度，不能完成证明。若只挑选遇到瓶颈的系统而忽略算法跃迁，所谓边际递减甚至可能只是研究者把一条 S 形曲线的末段误认成终局。

四　为什么猜想可能错

第一种反对来自世界的可压缩性。若丰富现象由少量规律、对象程序和随机种子生成，容量就不随可见细节线性增长。地形可以按层级生成，材料可以共享动力学，角色可以由内部智能体自行决策。系统保存规则和差异，而不是保存每一帧。对这样的世界，今天看似饱和的维度可能只是表示方法低效。

这不是边缘反例，而是强猜想必须正面承受的挑战。算法跃迁可能把整条前沿外推：上下文调度取代全历史注意，局部坐标系取代全局稠密网格，事件日志取代逐帧记忆，学习到的守恒量取代暴力滚动。如果这种跃迁一再出现，且新的表示能够跨空间、时间、行动和参与者组合复用，边际收益递减就不会稳定出现。

第二种反对来自按需世界。有限观察者在任一时刻只能提出有限查询，系统因而只需维持一个“可继续回答”的承诺结构，而非后台全量宇宙。只要生成的局部事实在未来查询中保持一致，隐藏细节可以永远不实例化。强猜想若把未观察的所有可能细节都计入容量，就会测量一个没有任何主体需要的负担。

回应只能是把查询能力写入协议，而不能假定全量展开。若协议允许任意回访、交叉核验和因果干预，系统仍需为可到达的承诺留出结构；若协议只允许单向浏览，容量当然可大得多。二者都合法，但不能使用同一个数字。观察者有限会削弱朴素上界论证，却不自动取消由可组合查询产生的成本。

第三种反对来自分布式资源。世界可以由许多节点、用户设备和内部智能体共同维护；参与者增加，也同时带来存储、感知与计算。容量不必只消耗中央服务器，甚至可能随主体数量形成网络效应。若把所有系统都压进固定单机预算，猜想只是把架构选择伪装成自然限制。

这要求资源核算包含整个系统，并区分净成本与参与者贡献。强猜想可以在有界物理包络中继续提出，但不能预设中心化。更尖锐的问题是：若资源随参与者线性增加，联合容量能否以更快速度增加？持续的超线性网络效应会直接削弱边际递减主张。

第四种反对来自新的计算范式。量子计算、模拟计算、神经形态硬件、可逆计算或尚未知的物理机制，可能改变某些问题的成本。现有复杂性结果总依赖计算模型和输入表示；经典规划的困难不等于所有物理计算范式都受同一实用曲线约束。WCSC 若对未来技术作无条件断言，就几乎不可证伪，因为每次失败都可推给“尚未到最终边界”。

所以，猜想必须版本化。WCSC 1.0 绑定当前可说明的物理模型、协议和资源计量；当计算范式改变时，应重新登记假设，而不是偷偷移动目标。若一个新范式在可验证资源核算下长期维持联合超线性收益，旧版本就应被判失败，而不是靠改写“真正容量”逃生。

第五种反对最根本：八维及容量坐标不可通约，根本不存在一个统一上确界。帕累托前沿可以比较支配关系，却未必有单一最优点；空间可以无限增大但精度趋零，参与者可以增加但行动集合缩小。若没有预先规定各维最低阈值，“所有维度同时突破”也可能含义暧昧。

这个反对意见部分正确。WCSC 不应寻找雷达图面积的最大值，而应讨论在最低阈值约束下，可达集合是否在各坐标上共同有界，以及帕累托前沿怎样移动。哲学世界性条件在此只提供阈值过滤：若系统为扩展空间而把行动、持存或共同验证降到零，那不计作同一合同下的容量提升。但阈值由用途和研究传统选择，不是康德替我们写好的常数。

如果长期研究仍无法稳定定义这些坐标，无法让不同系统在同一协议下形成可重复的偏序，那么 WCSC 不是“暂未证明”，而是表述失败。一个不可测、不可比较、遇到反例就修改定义的猜想，不配作为科学假说保留。

五　等待一个反例

要让猜想承担风险，必须预先说明什么会推翻它。以下不是一张让所有实验统一打分的表，而是四类足以改变判断的证据。

第一，在稳定测试协议、资源归一化、延迟和误差阈值下，一系列可复现实系统在多个容量维度上持续获得不递减甚至超线性的联合收益，且这种趋势跨越多个算法世代。一次跃迁只能说明旧曲线不是终局；反复跃迁并长期没有饱和迹象，会系统性削弱“最终边际递减”。

第二，出现一种可组合的方法，使空间、持续时间、精度、行动分支和参与者数量中的至少一个方向近乎无成本扩展，又不会通过降低其他方向或放宽世界性阈值偿还成本。同一方法还能反复嵌套，而不是只优化某个封闭案例。这样的构造会刺穿当前的帕累托权衡解释。

第三，在指定的有界物理资源模型中，给出一个满足最低世界性条件且容量无界增长的系统族，或严格证明不存在有限共同上界。这将直接反驳强物理包络版本。相反，Bekenstein 界、Landauer 原理或复杂性分类即使各自成立，也只有在建立从物理量和形式问题到容量坐标的桥梁后，才可能成为支持证明的一部分。

第四，经验研究表明容量向量没有稳定测量意义：同一协议的排序对轻微定义变化极端敏感，跨实验室无法复现，或八维关系无法形成最低限度的支配偏序。此时反例不是一台容量无限的机器，而是概念本身不能承担比较。WCSC 应被撤回，世界容量只能保留为局部描述语言。

相应地，什么只算支持而不算证明，也要说清楚。固定预算下反复出现的饱和、跨架构一致的维度权衡、更多主体导致一致性成本上升、长时干预导致误差积累，都会让弱版本更稳，也让强版本稍显可信。可它们始终可能被更好的压缩、检索、分层动力学或分布式架构改写。

未来的最小研究程序可以从公开“容量合同”开始。每套系统同时报告能力维度、容量坐标、任务协议、资源总账、延迟、误差、世界性最低阈值与失败边界。跨年度评测保存相同锚点任务，也允许加入针对新架构的测试。结果以可达集合和帕累托前沿呈现，而不是合成一个冠军分数。算法跃迁发生时，旧任务继续运行，以判断前沿是局部重置还是出现长期结构变化。

还应设置三类相互制衡的试验。封闭试验固定房间、对象和主体，测量精度与资源曲线。开放试验允许用户回访、组合工具和引入新主体，测量承诺如何累积。对抗试验专门寻找系统用改写历史、降低隐含精度或限制查询来伪装容量增长的方式。只有三类结果共同记录，“更大的世界”才不会等同于更长的视频或更多随机地形。

本书的哲学路线在这里也应停止越权。康德能够帮助区分主观流变与客观时间秩序，胡塞尔能够提醒我们世界总以可继续的地平线超出当前显现，海德格尔、梅洛-庞蒂与吉布森能够揭示世界在行动关系中展开，阿伦特能够要求世界经受他者的异位观察与公共检验。它们让工程合同少遗漏一些条件，却都没有证明世界容量存在有限上确界。

反过来，机器也不会因为通过这些条件的工程测试，就完成对经验、身体或共同世界的哲学说明。世界模型研究能做的是把抽象问题转成可操作的失败：对象何时消失，历史何时被改写，动作何时没有后果，身体改变后行动可能性何时仍被错误复制，多主体争议何时无法追溯。失败越具体，哲学类比越不容易膨胀成身份宣言。

世界容量上确界猜想最终提出的不是一堵已经发现的墙，而是一种观察技术前沿的方式。它要求我们同时看见压缩的力量和承诺的成本，看见算法能够移动边界，也看见每次移动改变了哪些合同。它拒绝用“有限”提前宣布失败，也拒绝用一段无尽生成提前宣布无界。

如果未来系统能够在清楚的资源总账下，让开放空间、长时历史、精确因果、自由行动、身体差异和复数主体共同扩展，并且一次次越过我们以为会出现的收益递减，那么应当放弃的不是那个系统，而是这个猜想。它的最好结局也许不是被证明，而是等到一个足够清楚、足够持久、任何定义技巧都无法躲开的反例。

六　把猜想留在可检验的位置

这项猜想今后最需要的不是更多修辞，而是连续的测量记录。每次发布只比较一个系统的最好样例，无法判断前沿究竟怎样移动；同一任务、同一资源核算和同一失败定义至少要跨若干技术世代保存。与此同时，锚点任务不能成为唯一目标，否则研究者会针对固定测试优化，而真实能力只在表面分数上增长。较稳妥的做法，是同时保留长期锚点、定期更换的隐藏测试和由外部团队提出的对抗案例。

WCSC 也不应成为给所有系统排序的新总分。它更像研究登记规则：先说明容量坐标，再声明最低世界性条件，随后记录资源曲线和可复现范围。某个系统在空间上扩展很快而在多主体一致性上停滞，仍可能对建筑预览极有价值。另一个系统只覆盖狭小操作台，却能在接触、恢复和安全停止上稳定闭环，也可能更适合机器人。猜想关心的是联合前沿是否长期有界，不取消用途之间的差别。

真正困难的是记录失败。成功演示容易保存，超时、漂移、状态冲突、隐藏人工修复和被放弃的采样往往没有进入论文或产品页。若缺少这些信息，资源收益曲线会系统性偏乐观。未来的容量研究应允许失败日志匿名汇总，并要求把人工筛选、重试、外部工具和人工接管计入成本。只有把这些看不见的操作写入总账，所谓边际收益才有明确含义。

因此，本书把 WCSC 冻结为一个带日期的开放命题，而不是结论性教条。它可以被支持、细化、拆分，也可以被清楚的反例撤销。保留这个风险，才符合全书反复坚持的原则：概念应帮助我们提高可检验性，而不是替尚未发生的实验预先宣布结果。

注释