Long Sequence Dynamic Degree

long_sequence_dynamic_degree 是一个光流探针，用来判断长 rollout 是否仍有足够运动。long_sequence 后端先把视频切成 clip。RAFT-things 在约 8 Hz 采样的相邻帧之间估计光流。每个 transition 取光流幅值最高 5% 像素的均值。超过分辨率缩放阈值的 transition 足够多时，该 clip 记为有动态（1.0），否则为 0.0。

$$m_k = \operatorname{mean}\bigl(\mathrm{top}_{5\%}\,\|\mathbf{f}_k\|\bigr) \tag{1}$$ $$\tau = 6\cdot\frac{\min(H,W)}{256},\qquad n_{\tau} = \max\!\bigl(1,\,\mathrm{round}(4\cdot N/16)\bigr) \tag{2}$$ $$s_{\mathrm{dyn}} = \mathbf{1}\!\left[\,|\{k:m_k>\tau\}| \ge n_{\tau}\,\right] \tag{3}$$

$N$ 是该 clip 的采样帧数。视频分是各 clip 分数在 $\{0,1\}$ 上的均值。越高越好，表示更多 clip 仍保持动态。仅基于预测，不使用参考 rollout。在 memory_loop 上为 official 指标。共享运行时见 Long-Sequence 指标。

60 秒同输入案例

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 1.0000

memory-yaw_loop_360-memory_pool_479

套件: memory_loop场景: photorealistic / indoor / dining_spaces

基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

较高分结果在整分钟里仍有足够的相机或场景运动；较低分结果接近静止。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 1.0000 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 1.0000

memory-dolly_loop-memory_pool_002

套件: memory_loop场景: photorealistic / outdoor / city

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

较高分结果在整分钟里仍有足够的相机或场景运动；较低分结果接近静止。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 1.0000 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 1.0000

memory-yaw_loop_180-memory_pool_427

套件: memory_loop场景: stylized / indoor / workspaces

基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

较高分结果在整分钟里仍有足够的相机或场景运动；较低分结果接近静止。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 1.0000 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 1.0000

memory-palindrome_loop-memory_pool_281

套件: memory_loop场景: photorealistic / outdoor / verdant_landscape

基准 prompt target

Move forward, turn and continue, then retrace the whole path back.

prompt source: memory_loop_prompt

较高分结果在整分钟里仍有足够的相机或场景运动；较低分结果接近静止。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 1.0000 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 1.0000

memory-yaw_loop_360-memory_pool_477

套件: memory_loop场景: photorealistic / outdoor / aquatic_landscape

基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

较高分结果在整分钟里仍有足够的相机或场景运动；较低分结果接近静止。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 1.0000 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

参考文献

RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

Zachary Teed, Jia Deng.
ECCV 2020.
https://arxiv.org/abs/2003.12039