跳转到内容

指标总览

所有文档和榜单指标统一为 official。有效性、输入要求和 N/A 规则仍由各指标定义;统一身份不改变分数或组合权重。

本文按 config/benchmark.yaml 中的公开 benchmark 面组织。公开生成面是 image_static 与 image_dynamic。memory_loop 是面向可交互世界模型的独立官方轨道,单独出榜,不折进这两个 suite 的总分。video_static 与 video_dynamic 是采集到的真实视频,作为 jedi、fvmd、trajan 的 benchmark.reference_corpus,不是 video-prefix 生成轨道。experimental 是补充切片,不应混成 benchmark 总分。

聚合报告中的字段含义如下:

  • raw — 后端原始值;可能是标量或分量字典
  • normalized — 写入聚合的 [0, 1] 分数;统一约定越高越好
  • official — 所有文档和榜单指标的统一公开身份;发布时核验数值、完整覆盖率和来源
  • not_applicable — 强监督不足,不计算、不聚合;进入 not_applicable_summary.json
  • normalized = null — runtime 失败或缺输入;不会被自动记为 0

各指标的归一化方式、适用 suite 与 official 门槛,见对应指标页。

Suite指标数说明
image_static43以 image 为条件的静态世界生成;video prediction 在输入允许时按 video 指标面扩展评测
image_dynamic33motion prompt 覆盖通常比 image_static 更广;不测 camera_error
video_static37采集真实视频,仅作 jedi / fvmd / trajan 的分布参考语料,不是生成 suite
video_dynamic45采集真实视频,仅作 jedi / fvmd / trajan 的分布参考语料,不是生成 suite
memory_loop6单图条件、60 秒闭环 rollout;只评可交互世界模型,分数归入 long_sequence
experimental20补充切片,不参与 formal headline 汇总

文档与榜单指标统一为 official;样本能否产生有效测量或记为 not_applicable,取决于输入与后端是否成功;细节见各指标页与 基准评测总览。

Metrics 导航按五个顶层维度组织。闭环记忆是 long_sequence 里的一族指标,不是单独的顶层维度。

维度分类页
Long sequence / MemoryLong Sequence / Memory
Action controlAction Control
3D/4D consistency3D/4D Consistency
PhysicsPhysics
QualityQuality