Keystroke Strict Action Accuracy

衡量实际观测到的原生视频帧区间上，恢复动作集合与命令集合是否完全一致。设预测为 $P_i$、目标为 $G_i$、区间时长为 $w_i$：

$$\mathrm{strict} = \frac{\sum_i w_i \cdot \mathbf{1}[P_i = G_i]}{\sum_i w_i} \tag{1}$$

解码使用固定的每秒速率阈值和真实视频 FPS，不根据测试标签挑选阈值。F 帧只提供 F−1 个可观察区间。缺失位姿区间不插值成成功动作，而是排除并报告观测覆盖率。

默认阈值为 move_speed_threshold=0.06 位姿平移单位/秒、rotation_speed_threshold=6.0 度/秒，所有模型共用。这些阈值未经独立物理标定，不能把 ViPE 的平移单位直接解释为米。

FPS 来自视频或显式 runtime 配置。只评价实际观测到的原生连续帧区间；帧号映射损坏或 FPS 未知时不给数字。优先使用原生动作时间线；只有有序动作 token 时，均匀分配时间属于显式假设，不代表已经验证了实际执行时序。

越高越好，为 official 指标。动作标签一致不等于位移/角度幅度正确。另存有动作命令时的准确率与 idle 误动作率。需要可用动作时间线和位姿 sidecar；后端为 pose_action。

60 秒同输入案例

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.9990

memory-dolly_loop-memory_pool_408

套件: memory_loop场景: photorealistic / indoor / living_spaces

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

在这段 60 秒回环里，看恢复出的逐帧动作是否与请求按键完全一致。多余运动或漏转都会降低严格准确率。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9990 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.8933

memory-palindrome_loop-memory_pool_003

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape

基准 prompt target

Move forward, turn and continue, then retrace the whole path back.

prompt source: memory_loop_prompt

在这段 60 秒回环里，看恢复出的逐帧动作是否与请求按键完全一致。多余运动或漏转都会降低严格准确率。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9890 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0957 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.8297

memory-yaw_loop_360-memory_pool_028

套件: memory_loop场景: photorealistic / outdoor / city

基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

在这段 60 秒回环里，看恢复出的逐帧动作是否与请求按键完全一致。多余运动或漏转都会降低严格准确率。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8297 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.8242

memory-yaw_loop_180-memory_pool_249

套件: memory_loop场景: photorealistic / outdoor / verdant_landscape

基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

在这段 60 秒回环里，看恢复出的逐帧动作是否与请求按键完全一致。多余运动或漏转都会降低严格准确率。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8242 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official