TRAJAN

trajan 基于 TRAJAN [Allen et al., 2025] 的官方单视频重建协议，通过 google-deepmind/tapnet 实现。它衡量生成视频的运动场能否被一个在真实点轨迹上训练的 trajectory autoencoder 重建。分数反映物体与相机运动的时序一致性，而不是外观质量、prompt 跟随或逐像素重建。

FVD 等外观特征指标更偏向单帧内容：画面可以很清晰，但手指变形、物体闪烁进出、交互失败。TRAJAN 先用 BootsTAPIR [Doersch et al., 2024] 估计长时程 2D 点轨迹，再把 support tracks 压成固定长度的运动 latent $\phi_S$ ，并重建 held-out query tracks。autoencoder 在真实运动上训练，不合理轨迹更难重建，Average Jaccard（AJ）因此下降。

对生成视频 $V$ ，WorldAtlas 在最多 150 帧、resize 到 $256 \times 256$ 的画面上，按时空均匀采样 $N = 4096$ 个 query 点。BootsTAPIR 给出轨迹 $s_{t,j} = (x_{t,j}, y_{t,j}, o_{t,j})$ 。一次置换将其分为 2048 条 support tracks $S$ 与 2048 条 held-out targets $Q$ 。TRAJAN 编码 $S$ ，并在某条 target 的可见帧上取 query $(x_q, y_q, t_q)$ ，预测经过该点的完整轨迹 $\hat{q}$ 。

原始分数是重建轨迹与 BootsTAPIR target 之间的 TAP-Vid Average Jaccard [Doersch et al., 2022]。轨迹先缩放到 $256 \times 256$ ，再对阈值 $\delta \in \{1, 2, 4, 8, 16\}$ 像素计算

\mathrm{Jaccard}_\delta = \frac{\mathrm{TP}_\delta}{\mathrm{TP}_\delta + \mathrm{FP}_\delta + \mathrm{FN}_\delta} \tag{1}

当重建点与 BootsTAPIR 点均可见且 $\lVert \hat{p} - p \rVert_2 < \delta$ 时记为 true positive；可见但偏离过远、或对应真值被遮挡的预测记为 false positive；真值可见但解码器漏检或位移过大则记为 false negative。WorldAtlas 采用 TAP-Vid first-frame 协议：第 $0$ 帧不计入统计（evaluation_query_mode = strided_from_first_frame）。报告的 raw 值为

\mathrm{TRAJAN}(V) = \frac{1}{|\Delta|}\sum_{\delta \in \Delta} \mathrm{Jaccard}_\delta, \qquad \Delta = \{1, 2, 4, 8, 16\} \tag{2}

raw 已落在 $[0, 1]$ ，越高越好。WorldAtlas 做恒等有界归一化（lower = 0.0，upper = 1.0）。query 采样对每个 sample 确定：seed = SHA256(17 : sample_id)。不足 150 帧的 clip 会 pad，并用 boundary_frame mask。该指标只读预测视频，不使用 reference，因此适用于 image-conditioned dynamic 生成。

官方 notebook 有一处很容易取反的 visibility 约定。BootsTAPIR postprocessor 接收 tracker occlusion logits 时输出 visibility；但用于轨迹 decoder 的 visible_logits 和 certain_logits 时，notebook 把得到的布尔张量作为 pred_occluded 传给 TAP-Vid，因此 AJ 使用其补集作为 predicted visibility。 Decoder query 本身从可见帧采样，而评测会把每条轨迹的 strided query frame 都设为第 0 帧。WorldAtlas 保留这两个细节：排除第 0 帧，并对其余真实、未 padding 的帧计分。

trajan 配置于 image_dynamic 与 video_dynamic。当存在 video prediction 且 JAX / BootsTAPIR / TRAJAN runtime 成功时为 official。纯图像预测为 not_applicable。缺少 checkpoint 或 tapnet runtime 不可用时返回 normalized = null，而不是记零。它补充 FVMD 这类需要参考集合的分布运动指标；但不评判物体身份、prompt 语义，以及虽违反物理、但仍可被平滑跟踪的事件。

历史别名 trajan_average_jaccard 与 trajectory_reconstruction_quality 会解析到 trajan。

参考文献

BibTeX

@misc{allen2025directmotionmodelsassessing,
    title = {Direct Motion Models for Assessing Generated Videos},
    author = {Kelsey Allen and Carl Doersch and Guangyao Zhou and Mohammed Suhail and Danny Driess and Ignacio Rocco and Yulia Rubanova and Thomas Kipf and Mehdi S. M. Sajjadi and Kevin Murphy and Joao Carreira and Sjoerd van Steenkiste},
    year = {2025},
    eprint = {2505.00209},
    archivePrefix = {arXiv},
    primaryClass = {cs.CV},
    url = {https://arxiv.org/abs/2505.00209},
}