基准评测总览

任务表述

基于我们对世界模型的操作性定义以及第 2 节引入的形式化准则，WorldAtlas 将世界生成表述为一组跨 video、3D 与 4D 模态的条件化 next-world generation 任务。

任务规格

采用 next-scene 评测视角，每个任务实例由三元组 $(C, N, L)$ 指定：

$C = \{X, P\}$ — 当前证据：图像或视频观测 $X$ ，以及可选的文本描述 $P$
$N$ — 目标世界规格：待生成的下一场景、动态变化、物体变换或交互结果
$L$ — 布局与控制规格：相机轨迹、视角变化、导航路径、物体级控制、动作指令或固定相机约束

生成接口

在此规格下，模型需生成输出产物

O = g_{\mathrm{world}}(w_{\mathrm{proc}}(C, N, L)),

其中：

$g_{\mathrm{world}}$ 表示被评测的生成系统
$w_{\mathrm{proc}}$ 表示模型特定的预处理
$O$ 可为视频序列、3D 场景、4D 动态资产或交互 rollout，取决于任务设定

该表述为异构系统提供统一评测接口，同时允许各模态保留各自的输出结构与控制语义。

任务范式

任务套件将世界生成分解为互补的评测范式：

静态世界生成 — 在相机运动、视角变化或场景级布局规格下扩展或变换场景，同时保持几何、外观与语义一致性
动态世界生成 — 场景内时序演化（物体运动、人类活动、环境动态、状态转移），通常在固定或受控相机设置下，以隔离动态与视角变化
交互条件生成 — 生成的未来与显式动作、物体控制或干预指令保持一致

通过这种方式分解任务，WorldAtlas 区分感知质量、空间一致性、时序动态与可控性，支持对 video 生成器、3D 世界生成器、4D 动态场景模型与动作条件世界模型的系统比较。

详细算法

问题形式化

WorldAtlas 将每个 benchmark 实例视为条件化 next-world generation 问题。任务由三元组 $(C, N, L)$ 指定，被评测系统生成世界观测 $O$ 。评测目标是量化 $O$ 在互补能力维度上——感知质量、空间与时序一致性、可控性、闭环记忆、物理合理性（含时间标定）——对 $(C, N, L)$ 所隐含契约的满足程度。

形式化地，对样本 $i$ 与指标 $j$ ，benchmark 求取归一化分数

\tilde{s}_{i,j} \in [0, 1],

以及基于 eligible 输出的 suite 级与维度级聚合。不定义单一 benchmark 级标量；可比性要求任务范式、采样协议与预测完备性一致。

输入与输出

输入。

符号	含义
$C = \{X, P\}$	当前证据：视觉观测 $X$ （图像或视频）与可选文本描述 $P$
$N$	导航或目标世界规格：待生成的未来场景、动态变化或交互结果
$L$	布局与控制规格：相机轨迹、视角变化、导航路径、物体级控制、动作指令或固定相机约束
$O$	被评测生成系统产出的世界观测

辅助监督——参考 rollout、位姿轨迹、分割 mask 或指令标签——可在样本可用时附加，用于门控指标适用性，但不属于核心生成契约。

输出。

输出	说明
逐样本指标分数	各适用指标的原始测量值及其归一化分数
资格状态	公开指标统一 official；保留样本不适用、缺失和失败状态
聚合 benchmark 分数	仅在 eligible official 分数上计算的 suite 级 per-metric 均值与维度级汇总
历史汇总兼容	核验并合并旧报告的两个 summary 通道，均按 official 发布

评测流程

benchmark 对每个被评测样本执行固定的五阶段流程。

阶段 1 — 任务实例化。 每个样本在 suite 特定的条件化范式下（静态世界生成、动态世界生成或交互条件生成）实例化 $(C, N, L)$ 。条件化契约决定证据的哪一部分作为输入、rollout 的哪一时序区域作为评测目标。

阶段 2 — 协议对齐。 确定性时序采样协议在预测流上，并在需要时在参考流上，选取匹配的评测支撑。锚点位置与运动窗口确保 prediction–reference 对比发生在对齐的时间索引上，而非任意帧偏移。

阶段 3 — 指标计算。 对每个配置的指标 $m_j$ ，评测器计算原始测量

r_{i,j} = f_j\!\left(O_i,\, C_i,\, \mathcal{A}_i\right),

其中 $\mathcal{A}_i$ 表示样本 $i$ 可用的辅助监督。指标覆盖质量、空间一致性、时序动态、可控性、闭环记忆、物理合理性与物理时间标定。部分指标仅作用于 $O$ ；其余需要配对参考内容或标注 sidecar。memory 指标是自参照的：回访帧的参考是模型自己更早生成的帧。

阶段 4 — 归一化与有效性。 使用各指标规定的归一化，将原始测量映射到分数。所有文档和榜单指标统一为 official；N/A、失败和缺失保留各自原因，不自动补零。

阶段 5 — 聚合。 按每个指标规定的分母汇总通过核验的结果，包括历史报告中标为 diagnostic 的有效数值。维度和 Overall 按公布的组合规则计算；不同协议不混合。

设计原则

所有指标采用统一公开身份；模型只在输入适用、测量有效且覆盖率经过核验的结果上比较。