跳转到内容

提交到排行榜

将模型提交到 WorldAtlas 排行榜:发送邮件至 jiadonghou3@gmail.com,附上提交材料的下载链接。

方式提交材料
自行评测生成视频、生成记录、配置,以及完整的 WorldAtlas 评测报告。
团队代评测生成视频、生成记录和配置。由 WorldAtlas 团队运行评测,无需在本地安装指标环境或提供分数。

环境配置和生成步骤见快速开始和运行 Evaluation。自行评测时,使用对应榜单赛道的公开 benchmark 配置及模型专用评测配置。

赛道所需输出
image_static静态图像任务的生成视频。
image_dynamic动态图像任务的生成视频。
memory_loop闭环 rollout,60s 和 30s 分开提交。

选择模型支持的赛道,覆盖发布版 manifest 中该赛道的全部样本,并附上生成时使用的输入 manifest。带 --limit 的小规模试跑不算完整榜单提交。video_static 和 video_dynamic 是评分所用的参考视频集合,不属于生成赛道。

按协议使用输入图像、提示词、mask 和相机/动作控制。保留原始生成视频及其帧率、分辨率和时长;如有后处理,请说明。

每个赛道及 memory 时长使用独立目录:

my-model/
meta.json
configs/
environment.txt
image_static/
input_manifest.jsonl
predictions/
reports/
  • predictions/:复制完整生成目录,包括视频、evaluation_manifest.jsonl、generation_records.jsonl、generation_manifest.json、prompt_map.json 及相机/动作附属文件,保持相对路径不变。分片运行需包含所有分片的 manifest 和记录。
  • reports/:自行评测时,提交完整评测输出目录,包括 run_manifest.json、per_sample_scores.jsonl、per_metric_summary.json、per_dimension_summary.json、leaderboard.csv,以及实际产生的分布指标、失败项和指标适用性报告。团队代评测时无需此目录。
  • configs/ 与 environment.txt:提供实际使用的模型及 benchmark 配置、推理参数与 seed、代码和权重版本、硬件、依赖版本;自行评测还需包含评测环境。

如果视频在 WorldAtlas 外部生成,请提供每个发布版 sample_id 与视频的对应关系,以及输入图像、提示词/控制和生成记录。团队会在评测前确认输入与视频的绑定关系;仅重命名视频不能生成带绑定信息的评测 manifest。

添加供团队审核的提交信息 meta.json:

{
"model_name": "my-model",
"display_name": "My Model",
"organization": "Your Lab",
"contact_email": "you@example.org",
"submission_mode": "team_evaluation",
"tracks": [{"suite": "image_static"}],
"worldatlas_commit": "<生成时使用的 Git commit>",
"dataset_revision": "<Hugging Face 数据集版本>",
"model_url": "https://example.org/my-model",
"notes": ""
}

自行评测时将 submission_mode 设为 self_evaluation。Memory 赛道填写 {"suite": "memory_loop", "duration_seconds": 60}(或 30)。有论文、代码和权重链接时一并提供;与公开协议的差异写入 notes。

将目录上传至 Hugging Face、Google Drive 或其他团队可访问的平台。邮件主题使用 [WorldAtlas Submission] <model-name>,正文附下载链接,附件提供 meta.json。受限链接请附访问方式。

团队会检查样本覆盖、输入与输出对应关系和评测设置,按需运行评测,并就缺失材料或失败样本与你联系;审核完成后将结果加入排行榜。提交时请列明已知的失败或缺失样本。