指标总览
所有文档和榜单指标统一为 official。有效性、输入要求和 N/A 规则仍由各指标定义;统一身份不改变分数或组合权重。
本文按 config/benchmark.yaml 中的公开 benchmark 面组织。公开生成面是 image_static 与 image_dynamic。memory_loop 是面向可交互世界模型的独立官方轨道,单独出榜,不折进这两个 suite 的总分。video_static 与 video_dynamic 是采集到的真实视频,作为 jedi、fvmd、trajan 的 benchmark.reference_corpus,不是 video-prefix 生成轨道。experimental 是补充切片,不应混成 benchmark 总分。
聚合报告中的字段含义如下:
raw— 后端原始值;可能是标量或分量字典normalized— 写入聚合的[0, 1]分数;统一约定越高越好official— 所有文档和榜单指标的统一公开身份;发布时核验数值、完整覆盖率和来源not_applicable— 强监督不足,不计算、不聚合;进入not_applicable_summary.jsonnormalized = null— runtime 失败或缺输入;不会被自动记为 0
各指标的归一化方式、适用 suite 与 official 门槛,见对应指标页。
Suite 向量
Section titled “Suite 向量”| Suite | 指标数 | 说明 |
|---|---|---|
image_static | 43 | 以 image 为条件的静态世界生成;video prediction 在输入允许时按 video 指标面扩展评测 |
image_dynamic | 33 | motion prompt 覆盖通常比 image_static 更广;不测 camera_error |
video_static | 37 | 采集真实视频,仅作 jedi / fvmd / trajan 的分布参考语料,不是生成 suite |
video_dynamic | 45 | 采集真实视频,仅作 jedi / fvmd / trajan 的分布参考语料,不是生成 suite |
memory_loop | 6 | 单图条件、60 秒闭环 rollout;只评可交互世界模型,分数归入 long_sequence |
experimental | 20 | 补充切片,不参与 formal headline 汇总 |
文档与榜单指标统一为 official;样本能否产生有效测量或记为 not_applicable,取决于输入与后端是否成功;细节见各指标页与 基准评测总览。
五个评测支柱
Section titled “五个评测支柱”Metrics 导航按五个顶层维度组织。闭环记忆是 long_sequence 里的一族指标,不是单独的顶层维度。
| 维度 | 分类页 |
|---|---|
| Long sequence / Memory | Long Sequence / Memory |
| Action control | Action Control |
| 3D/4D consistency | 3D/4D Consistency |
| Physics | Physics |
| Quality | Quality |