提交到排行榜
将模型提交到 WorldAtlas 排行榜:发送邮件至 jiadonghou3@gmail.com,附上提交材料的下载链接。
| 方式 | 提交材料 |
|---|---|
| 自行评测 | 生成视频、生成记录、配置,以及完整的 WorldAtlas 评测报告。 |
| 团队代评测 | 生成视频、生成记录和配置。由 WorldAtlas 团队运行评测,无需在本地安装指标环境或提供分数。 |
环境配置和生成步骤见快速开始和运行 Evaluation。自行评测时,使用对应榜单赛道的公开 benchmark 配置及模型专用评测配置。
赛道与覆盖范围
Section titled “赛道与覆盖范围”| 赛道 | 所需输出 |
|---|---|
image_static | 静态图像任务的生成视频。 |
image_dynamic | 动态图像任务的生成视频。 |
memory_loop | 闭环 rollout,60s 和 30s 分开提交。 |
选择模型支持的赛道,覆盖发布版 manifest 中该赛道的全部样本,并附上生成时使用的输入 manifest。带 --limit 的小规模试跑不算完整榜单提交。video_static 和 video_dynamic 是评分所用的参考视频集合,不属于生成赛道。
按协议使用输入图像、提示词、mask 和相机/动作控制。保留原始生成视频及其帧率、分辨率和时长;如有后处理,请说明。
每个赛道及 memory 时长使用独立目录:
my-model/ meta.json configs/ environment.txt image_static/ input_manifest.jsonl predictions/ reports/predictions/:复制完整生成目录,包括视频、evaluation_manifest.jsonl、generation_records.jsonl、generation_manifest.json、prompt_map.json及相机/动作附属文件,保持相对路径不变。分片运行需包含所有分片的 manifest 和记录。reports/:自行评测时,提交完整评测输出目录,包括run_manifest.json、per_sample_scores.jsonl、per_metric_summary.json、per_dimension_summary.json、leaderboard.csv,以及实际产生的分布指标、失败项和指标适用性报告。团队代评测时无需此目录。configs/与environment.txt:提供实际使用的模型及 benchmark 配置、推理参数与 seed、代码和权重版本、硬件、依赖版本;自行评测还需包含评测环境。
如果视频在 WorldAtlas 外部生成,请提供每个发布版 sample_id 与视频的对应关系,以及输入图像、提示词/控制和生成记录。团队会在评测前确认输入与视频的绑定关系;仅重命名视频不能生成带绑定信息的评测 manifest。
添加供团队审核的提交信息 meta.json:
{ "model_name": "my-model", "display_name": "My Model", "organization": "Your Lab", "contact_email": "you@example.org", "submission_mode": "team_evaluation", "tracks": [{"suite": "image_static"}], "worldatlas_commit": "<生成时使用的 Git commit>", "dataset_revision": "<Hugging Face 数据集版本>", "model_url": "https://example.org/my-model", "notes": ""}自行评测时将 submission_mode 设为 self_evaluation。Memory 赛道填写 {"suite": "memory_loop", "duration_seconds": 60}(或 30)。有论文、代码和权重链接时一并提供;与公开协议的差异写入 notes。
将目录上传至 Hugging Face、Google Drive 或其他团队可访问的平台。邮件主题使用 [WorldAtlas Submission] <model-name>,正文附下载链接,附件提供 meta.json。受限链接请附访问方式。
团队会检查样本覆盖、输入与输出对应关系和评测设置,按需运行评测,并就缺失材料或失败样本与你联系;审核完成后将结果加入排行榜。提交时请列明已知的失败或缺失样本。