Keystroke Partial Action Accuracy

衡量恢复动作集合与命令集合之间按时长加权的集合 F1，同时惩罚漏动作和额外动作。设预测为 $P_i$、目标为 $G_i$、观测区间时长为 $w_i$：

$$\mathrm{F1}(P_i, G_i) = \frac{2\, |P_i \cap G_i|}{|P_i| + |G_i|} \tag{1}$$ $$\mathrm{partial} = \frac{\sum_i w_i \cdot \mathrm{F1}(P_i, G_i)}{\sum_i w_i} \tag{2}$$

两个空集合的 $\mathrm{F1}$ 为 $1$。只要求一个动作，却预测了包含它的五个动作时，$\mathrm{F1}$ 为 $1/3$，而不是 $1$。越高越好。

与 strict accuracy 共用固定速率解码、原生时间轴及覆盖率规则。为 official 指标，不是独立的记忆能力证据，也不测标定后的运动幅度。后端为 pose_action。

60 秒同输入案例

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.9781

memory-dolly_loop-memory_pool_238

套件: memory_loop场景: stylized / outdoor / suburb

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

部分重合的按键仍计分。较好的 60 秒结果跟随请求方向，较差的结果换成了另一种运动。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9781 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.9174

memory-yaw_loop_180-memory_pool_439

套件: memory_loop场景: stylized / outdoor / aquatic_landscape

基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

部分重合的按键仍计分。较好的 60 秒结果跟随请求方向，较差的结果换成了另一种运动。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9441 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0267 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.9161

memory-yaw_loop_360-memory_pool_132

套件: memory_loop场景: stylized / outdoor / terrestrial_landscape

基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

部分重合的按键仍计分。较好的 60 秒结果跟随请求方向，较差的结果换成了另一种运动。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9283 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0122 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.4901

memory-double_yaw_loop-memory_pool_260

套件: memory_loop场景: stylized / indoor / living_spaces

基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

部分重合的按键仍计分。较好的 60 秒结果跟随请求方向，较差的结果换成了另一种运动。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.7072 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.2171 · official

输入图像

60 秒 memory_loop · 同一 benchmark case · gap 0.3753

memory-dolly_loop-memory_pool_463

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

部分重合的按键仍计分。较好的 60 秒结果跟随请求方向，较差的结果换成了另一种运动。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8285 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.4531 · official