协议与资格
| 项目 | 值 | 为什么重要 |
|---|---|---|
| 官方协议 | segment_random | headline run 会在对齐的时间支撑上采样参考与预测 |
| 兼容协议 | anchor_compat | 面向旧实验的遗留 anchor-only 路径 |
| 目标 FPS | 24 | 统一评测时的时间假设 |
| 锚点位置 | 0.0、0.3333、0.6667、1.0 | 锚点类指标会从 rollout window 的这些位置读取帧 |
| 运动帧数 | 12 | motion 类指标每个样本默认解码 12 帧窗口 |
| 分段数 | 4 | 在 segment_random 下控制确定性的时间段选择 |
| 随机种子 | 17 | 保持样本级采样稳定可复现 |
锚点类指标和 motion 类指标共享同一份 sample-local protocol state，因此 prediction 和 reference 会在对齐的时间支撑上比较。
条件输入契约
Section titled “条件输入契约”| 资产类型 | 条件输入策略 | 默认参数 | 对评测的影响 |
|---|---|---|---|
| image suite | reference_image | conditioning_frame_count = 1 | 一张静态参考图像作为条件输入；prediction 按 video rollout 解析，因此可运行预测侧视频指标 |
memory_loop | reference_image | conditioning_frame_count = 1，目标时长 60 秒 | 单图条件的闭环相机轨迹；评测自参照，不需要真值长视频。回访配对从估计位姿读出，不按时间索引对称取样 |
video_static、video_dynamic | 无（参考语料） | 作为 benchmark.reference_corpus 索引，根目录 data/video | 采集到的真实视频，不是生成轨道。它们是 jedi、fvmd、trajan 的参考分布。WorldAtlas 不再用 video prefix 生成 continuation 再对 continuation 做套件评测 |
manifest 会把这个契约写到每个样本里，因此下游生成和评测不需要再靠目录结构反推。
指标发布口径
Section titled “指标发布口径”文档和 leaderboard 中的所有指标统一为 official，不再区分 diagnostic 与 official 两档。旧报告中的 diagnostic 是历史存储标签，不影响通过核验的数值上榜。
| 测量状态 | 处理 |
|---|---|
| 有限、有效且覆盖率完整的结果 | 按 official 发布 |
not_applicable | 保留不适用及原因，不补零 |
| 缺失、失败或非有限结果 | 保持缺失，修复或补测后再发布 |
输入对应关系、评分来源、样本覆盖率和归一化仍须通过审计。指标是否参与某个组合分由当前 suite 和聚合权重决定。
| 指标或指标族 | official 门槛 |
|---|---|
prompt_alignment | 样本必须有显式 instruction supervision，并且不能是 self-conditioned |
camera_error | 需要 sample.annotation_path 下存在姿态标注 |
motion_accuracy | 需要对齐好的 segmentation mask |
physical_fps_* | 需要可用的 Pulse-of-Motion 运行时，以及可读取的 container FPS 或 manifest FPS |
met3r_consistency | reference/prediction 锚点可读取时进入 official；空 overlap mask 会被记录并计为最低归一化分（0），而不是从均值中排除 |
reconstruction_consistency | 正式测量；需要视频与 Depth-Anything-3 后端，按配置使用标准指标名 |
memory_return_gate | official；报告闭环离开并返回的通过率 |
memory_scene_f1、memory_revisit_fidelity、memory_geometric_closure、memory_rendering_recovery | memory_loop 上、评分输入与对应后端可用时为 official，gate 未通过也继续计算。缺失 ViPE sidecar 或后端时记 not_applicable，不补零 |
memory_half_life | 可靠拟合为 official；支持不足、无可测衰减或拟合不可靠时为 not_applicable |
keystroke_*、rollout_aesthetic_drift、rollout_imaging_drift | 可测时为 official。动作集合/轨迹形状一致性和质量退化不构成独立的记忆能力证据 |
memory_revisit_consistency、scene_memory_f1、memory_symmetry、revisit_return_gate、entity_reappearance_consistency | 正式文档指标，采用不同于当前闭环套件的旧切分协议；不混合不同协议的分数 |
long_sequence_* | 输入与后端有效时为 official |
| formal suite 中其余指标 | 只要成功返回数值，就属于 official |
两个常见后果：
- 自条件或缺少显式 instruction 的样本不会计算
prompt_alignment，而是进入not_applicable_summary.json。 image_static/image_dynamic的输出是 I2V 视频，所以 prediction-only 视频指标会被正常计算；需要 reference video、pose 或 mask 的指标会在 sidecar 不足时返回空值，而不是强行打分。
所有 headline 值都以 [0, 1] 范围内的 normalized 分数保存。
| 指标家族 | 原始形式 | 归一化规则 |
|---|---|---|
| 有界标量指标 | 本身有界、或自然可映射到有界区间的单标量 | 来自 config/benchmark.yaml 的直接 min/max 缩放 |
| 经验标量指标 | “越小越好”或“越大越好”的单标量 | 经验 min/max 缩放，可选反向 |
| z-score 指标 | 相对 benchmark 统计量校准过的单标量 | 把 z-score 映射到 [0, 1] 的配置子区间 |
| 组件型指标 | 多个原始分量 | 各分量分别归一化后再做 reduce |
当前 benchmark 特有的 reducer：
camera_error：分别归一化 rotation 和 translation，再用几何平均做归约。motion_smoothness：分别归一化MSE、SSIM和LPIPS，再用算术平均做归约。
聚合与历史报告兼容
Section titled “聚合与历史报告兼容”- 发布时同时读取
per_metric_summary.json和历史diagnostic_metric_summary.json，通过核验的指标统一按 official 展示；冲突分数不能静默覆盖。 - 历史原始报告保留原标签和文件名用于溯源；它们不构成公开指标等级。
- 每个指标使用其规定的样本分母、归一化和有效性规则。N/A、失败和缺失不自动补零。
- 榜单维度与 Overall 使用公布的组合规则。统一指标身份不更改评分公式、已有数值或聚合权重。
- 只有 suite、protocol、metric config 和预测覆盖率一致的结果才可直接比较。