Long Sequence Motion Smoothness

long_sequence_motion_smoothness 衡量预测视频在更长 horizon 上的时间可插值性。long_sequence 后端先把完整视频切成短 clip，再用 AMT-S 从偶数采样邻帧插出奇数中间帧。重建误差低，表示长 rollout 之后运动仍连续——不表示运动语义正确或幅度正确。

$$s_{\mathrm{smooth}} = \operatorname{clamp} \left( \frac{255-\operatorname{mean}(|I^{\mathrm{real}}_{\mathrm{mid}}-I^{\mathrm{interp}}_{\mathrm{mid}}|)}{255}, 0, 1 \right) \tag{1}$$

视频分为各 clip 分数的均值。越高越好。仅基于预测，不使用参考 rollout。在 memory_loop 上为 official 指标。它不是短程的 motion_smoothness（VFIMamba / MSE+SSIM+LPIPS）。共享运行时见 Long-Sequence 指标。

60 秒同输入案例

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json. 以下分数来自 60 秒诊断评测报告。

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.0363

memory-dolly_loop-memory_pool_368

套件: memory_loop场景: photorealistic / indoor / dining_spaces

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

较平滑的 60 秒结果在相邻帧之间可以干净插值；较差的结果在 clip 边界出现抖动或撕裂。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9930 · diagnostic

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.9567 · diagnostic

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.0622

memory-double_yaw_loop-memory_pool_029

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape

基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

较平滑的 60 秒结果在相邻帧之间可以干净插值；较差的结果在 clip 边界出现抖动或撕裂。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9874 · diagnostic

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.9252 · diagnostic

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.0617

memory-yaw_loop_360-memory_pool_028

套件: memory_loop场景: photorealistic / outdoor / city

基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

较平滑的 60 秒结果在相邻帧之间可以干净插值；较差的结果在 clip 边界出现抖动或撕裂。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9940 · diagnostic

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.9323 · diagnostic

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.0614

memory-yaw_loop_180-memory_pool_037

套件: memory_loop场景: photorealistic / outdoor / verdant_landscape

基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

较平滑的 60 秒结果在相邻帧之间可以干净插值；较差的结果在 clip 边界出现抖动或撕裂。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9894 · diagnostic

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.9280 · diagnostic

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.0609

memory-palindrome_loop-memory_pool_003

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape

基准 prompt target

Move forward, turn and continue, then retrace the whole path back.

prompt source: memory_loop_prompt

较平滑的 60 秒结果在相邻帧之间可以干净插值；较差的结果在 clip 边界出现抖动或撕裂。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9934 · diagnostic

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.9325 · diagnostic

参考文献

AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation

Zhen Li, Zuo-Liang Zhu, Litong Han, Qibin Hou, Chun-Le Guo, Ming-Ming Cheng.
CVPR 2023.
https://arxiv.org/abs/2304.09790