Long-Sequence 指标
WorldAtlas 内置了 Long-Sequence backend,用来从完整 prediction video 中提取长时运动和画质信号。
这组指标并非仅考察单帧或相邻两帧,而是将生成视频划分为多个短 clip,并进一步分析更长 horizon 上的运动连续性和视觉质量。
它主要回答的问题是:生成视频在更长 horizon 上是否还能保持运动连续性和画质。
这组指标是 prediction-only 指标,不使用 benchmark reference rollout,也不需要标注。 因此它们更适合解释长视频退化模式,例如运动停滞、突兀时间伪影、画质随时间下降等。
| 指标名 | 包装后的 Long-Sequence 维度 | 在 WorldAtlas 中的角色 |
|---|---|---|
long_sequence_motion_smoothness | motion_smoothness | 基于视频插帧误差的运动平滑度 |
long_sequence_dynamic_degree | dynamic_degree | 基于光流强度的运动是否充分发生 |
long_sequence_aesthetic_quality | aesthetic_quality | 基于无参考美学模型的视觉审美质量 |
long_sequence_imaging_quality | imaging_quality | 基于 MUSIQ 的成像清晰度和退化质量 |
普通短程指标容易漏掉只在更长 rollout 后出现的问题。 Long-Sequence backend 会先把完整视频切成多个短 clip,然后把原生 long-video 例程用于运动和画质维度。
motion_smoothness 用 AMT-S 做中间帧插值,比较插值结果和真实中间帧的差异。
dynamic_degree 用 RAFT 估计光流强度,判断视频是否有足够运动。
aesthetic_quality 和 imaging_quality 分别使用质量模型对每个 clip 的帧进行无参考打分。
- WorldAtlas 读取完整 prediction video,并在临时 workspace 中准备 Long-Sequence 输入目录。
worldatlas.benchmark.long_video会把长视频切成split_clip/,并生成每个维度需要的最小 manifest。- dispatcher 根据请求维度调用对应实现:
motion_smoothness:AMT-S 插帧后比较预测中间帧和真实中间帧。dynamic_degree:RAFT 估计光流,并统计高运动 transition 是否达到阈值。aesthetic_quality:无参考 aesthetic scorer 对 clip 帧打分。imaging_quality:MUSIQ 对 clip 帧打分。
- 每个 WorldAtlas 指标只读取自己对应的 wrapped dimension。
- wrapper 会记录运行时元数据,包括实际 device、source root、clip 数量、per-video scores 和维度特定细节。
- 最后每个指标按
config/benchmark.yaml中的[0,1]范围独立归一化;这四个指标都是越高越好。
对 motion_smoothness,AMT-S 会用偶数采样帧插值得到中间帧,并和真实中间帧比较平均绝对差:
对 dynamic_degree,RAFT 会估计相邻采样帧之间的光流,并取光流幅值最高的 5% 像素均值作为 transition motion score。
当超过运动阈值的 transition 数量达到计数阈值时,该 clip 记为有动态,输出 1.0;否则输出 0.0。
对 aesthetic_quality 和 imaging_quality,backend 分别对每个 clip 的帧计算无参考质量分数,再对 clip、video 和整批样本求平均。