跳转到内容

Keystroke nATEt

按真实时间对齐的归一化平移形状误差,并加入平移活动约束:

ATEt=∑iwi⋅(et,start,i+et,end,i)/2∑iwi(1)\mathrm{ATE}_t = \frac{\sum_i w_i \cdot (e_{t,\mathrm{start},i} + e_{t,\mathrm{end},i}) / 2}{\sum_i w_i} \tag{1} shapet=clamp ⁣(ATEtmax⁡(ℓobs, ℓmin⁡), 0, 1)(2)\mathrm{shape}_t = \mathrm{clamp}\!\left( \frac{\mathrm{ATE}_t}{\max(\ell_{\mathrm{obs}},\, \ell_{\min})}, \,0,\,1 \right) \tag{2} activityt=nmismatchnactive(3)\mathrm{activity}_t = \frac{n_{\mathrm{mismatch}}}{n_{\mathrm{active}}} \tag{3} nATEt=max⁡(shapet, activityt)(4)\mathrm{nATEt} = \max(\mathrm{shape}_t,\, \mathrm{activity}_t) \tag{4}

et,start,ie_{t,\mathrm{start},i}、et,end,ie_{t,\mathrm{end},i} 是观测区间 ii 的两端相对于该恒定动作片段目标轨迹的位置误差,wi=1/FPSw_i = 1 / \mathrm{FPS}。ATEt\mathrm{ATE}_t 用梯形法按时间积分后除以总观测时长,得到时间加权平均误差,而不是未经归一化的积分。计算不使用弧长重采样;最小路径归一化尺度默认为 ℓmin⁡=0.5\ell_{\min} = 0.5 位姿单位。ℓobs\ell_{\mathrm{obs}} 为观测路径长度。nmismatchn_{\mathrm{mismatch}} 是命令与观测平移活动状态不一致的区间数,nactiven_{\mathrm{active}} 是有命令或实际平移的区间数。

观测平移活动默认指速率超过 move_speed_threshold=0.06 位姿单位/秒。有命令却停住、没有命令却移动都计入活动错误;观测空隙是缺失数据,不是模型冻结。

原始误差越低越好。没有平移命令也没有观测平移时为 not_applicable,不是满分。目标幅度来自预测(amplitude_calibrated=false),不代表经过独立标定的尺度或速度准确性。后端为 pose_action,为 official 指标。

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像: memory-dolly_loop-memory_pool_277
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.3023

memory-dolly_loop-memory_pool_277

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

比较 60 秒路径中恢复出的平移:按指令移动、停滞和多余移动都会影响此分数。画质由其他指标单独衡量。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8450 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.5427 · official
输入图像: memory-palindrome_loop-memory_pool_406
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.4043

memory-palindrome_loop-memory_pool_406

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Move forward, turn and continue, then retrace the whole path back.

prompt source: memory_loop_prompt

比较 60 秒路径中恢复出的平移:按指令移动、停滞和多余移动都会影响此分数。画质由其他指标单独衡量。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.7876 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.3834 · official
输入图像: memory-double_yaw_loop-memory_pool_177
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.2480

memory-double_yaw_loop-memory_pool_177

套件: memory_loop场景: photorealistic / indoor / dining_spaces
基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

比较 60 秒路径中恢复出的平移:按指令移动、停滞和多余移动都会影响此分数。画质由其他指标单独衡量。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8547 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.6067 · official
输入图像: memory-dolly_loop-memory_pool_065
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.3874

memory-dolly_loop-memory_pool_065

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

比较 60 秒路径中恢复出的平移:按指令移动、停滞和多余移动都会影响此分数。画质由其他指标单独衡量。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8406 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.4532 · official
输入图像: memory-yaw_loop_360-memory_pool_416
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.3420

memory-yaw_loop_360-memory_pool_416

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

比较 60 秒路径中恢复出的平移:按指令移动、停滞和多余移动都会影响此分数。画质由其他指标单独衡量。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8744 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.5324 · official