跳转到内容
WorldAtlas WorldAtlas WorldAtlas
首页

运行 Evaluation

以下命令默认已执行 conda activate worldatlas 并导出 .env 变量。

1. 构建 benchmark manifest

Section titled “1. 构建 benchmark manifest”
Terminal window
worldatlas build-manifest --config config/benchmark.yaml
# 默认已展开 memory_loop；关掉用 --memory-loops none

只有在你明确需要 raw asset audit、且暂时不写 manifest 时，才单独运行：

Terminal window
worldatlas build-inventory --config config/benchmark.yaml

2. 生成 prediction

Section titled “2. 生成 prediction”

使用 bundled adapter 生成：

Terminal window
worldatlas generate \
  --config config/benchmark.yaml \
  --model-config config/models/lingbot_world/lingbot_world.yaml \
  --suites image_static \
  --output-dir artifacts/predictions/lingbot-world

或一次性路径：

Terminal window
worldatlas run-model \
  --config config/benchmark.yaml \
  --model-config config/models/lingbot_world/lingbot_world.yaml \
  --suites image_static

期望的 prediction 布局：

artifacts/predictions/lingbot-world/
  <prediction_stem>.mp4
  evaluation_manifest.jsonl
  generation_records.jsonl
  generation_manifest.json
  prompt_map.json

保留完整输出目录及相机／动作附属文件。生成赛道为 image_static、image_dynamic 和 memory_loop；video_static 和 video_dynamic 是参考视频集合。

3. 评测 prediction

Section titled “3. 评测 prediction”

对已完成的生成结果进行单进程 evaluation：

Terminal window
worldatlas evaluate \
  --config config/benchmark.yaml \
  --model-config config/models/lingbot_world/lingbot_world.yaml \
  --manifest artifacts/predictions/lingbot-world/evaluation_manifest.jsonl \
  --predictions-root artifacts/predictions/lingbot-world \
  --suites image_static \
  --output-dir artifacts/benchmark/reports/lingbot-world

使用生成输出中的 evaluation_manifest.jsonl，其中记录了每个视频与输入的绑定关系。分片生成时，评测前合并所有成功分片的 evaluation_manifest.shard<N>.jsonl，并保留各分片的生成记录。外部生成的视频需要带有已验证输入与视频绑定信息的 manifest。

常用参数：

  • --suites image_static,image_dynamic：选择生成赛道。
  • --limit 32：小规模试跑，分布指标可能需要更多样本。
  • --model-config：应用所选模型的 metric override。

evaluation 产物写入 artifacts/benchmark/reports/：

  • run_manifest.json
  • per_sample_scores.jsonl
  • per_metric_summary.json
  • per_dimension_summary.json
  • leaderboard.csv

完整评测需覆盖输入 manifest 中要求的全部样本，并处理生成和指标计算失败。生成的评测 manifest 只包含成功的视频，因此仅有 missing_predictions = 0 不能证明覆盖完整。比较结果时应使用相同的 suites、manifest snapshot 和 metric 配置。提交结果或申请团队代评测见提交模型。