跳转到内容

Camera Error

Camera Error 评估生成视频的相机控制。当前默认 native_intended 路径使用 MegaSAM 恢复相机运动,衡量请求方向的符合程度;它不是有真实尺度 GT 的完整轨迹误差。下述外参对齐公式适用于另一个 direct pose-GT 路径。

榜单直接平均每个视频的 details.native_intent_accuracy 并乘 100;direct pose-GT 则先将旋转/平移误差分别按 [0,15] / [0,0.5] 反向归一化、取几何平均,再对视频平均。报告中的 error_ref 分数仅保留兼容用途,不再反推其均值。缺少对应逐视频报告的旧成绩保留历史已发布汇总,网页悬停说明该状态,不声称已重算。

在 direct pose-GT 策略下,记 {Ttgt}t=1N\{\mathbf{T}^{\mathrm{gt}}_t\}_{t=1}^{N} 与 {Ttpred}t=1N\{\mathbf{T}^{\mathrm{pred}}_t\}_{t=1}^{N} 分别为标注与视觉里程计(MegaSAM 或 DROID-SLAM)得到的 4×44 \times 4 camera-to-world 矩阵。若两者帧数不同,先通过平移线性插值和四元数 SLERP 将 GT 均匀重采样到恢复出的 pose 数量,再求完整的正尺度相似变换:

s⋆,Q⋆,u⋆=arg⁡min⁡s>0, Q∈SO(3), u∑t=1N∥ttgt−(sQttpred+u)∥22(1)s^\star,\mathbf{Q}^\star,\mathbf{u}^\star = \arg\min_{s>0,\,\mathbf{Q}\in SO(3),\,\mathbf{u}} \sum_{t=1}^{N} \left\|\mathbf{t}^{\mathrm{gt}}_t- \left(s\mathbf{Q}\mathbf{t}^{\mathrm{pred}}_t+\mathbf{u}\right)\right\|_2^2 \tag{1}

该变换使用 Umeyama 对齐;对于静止或共线轨迹,使用对应相机朝向消除旋转自由度,再求尺度和平移。对齐后 R~t=Q⋆Rtpred\tilde{\mathbf{R}}_t=\mathbf{Q}^\star\mathbf{R}^{\mathrm{pred}}_t,t~t=s⋆Q⋆ttpred+u⋆\tilde{\mathbf{t}}_t=s^\star\mathbf{Q}^\star\mathbf{t}^{\mathrm{pred}}_t+\mathbf{u}^\star。平均平移误差为

Et=1N∑t=1N∥t~t−ttgt∥2(2)E_t = \frac{1}{N}\sum_{t=1}^{N} \left\|\tilde{\mathbf{t}}_t - \mathbf{t}^{\mathrm{gt}}_t\right\|_2 \tag{2}

平均旋转误差(度)由相对旋转 Rtrel=R~t(Rtgt)⊤\mathbf{R}^{\mathrm{rel}}_t = \tilde{\mathbf{R}}_t (\mathbf{R}^{\mathrm{gt}}_t)^\top 给出:

Er=1N∑t=1Narccos⁡ ⁣(clip ⁣(tr(Rtrel)−12,−1,1))⋅180π(3)E_r = \frac{1}{N}\sum_{t=1}^{N} \arccos\!\left(\mathrm{clip}\!\left(\frac{\mathrm{tr}(\mathbf{R}^{\mathrm{rel}}_t) - 1}{2}, -1, 1\right)\right) \cdot \frac{180}{\pi} \tag{3}

WorldAtlas 将 direct-GT 的两个分量按经验范围 [0,15°][0, 15°](旋转)与 [0,0.5][0, 0.5](平移)归一化至 [0,1][0,1](越低越好),再取几何均值。默认的 native_intended MegaSAM 策略则把恢复出的运动与请求的相机/动作方向比较,直接返回其 direction-confidence 分数,不使用上述 direct-GT reducer。所选策略具备足够相机监督时,该指标为 official。image_dynamic 不测、也不发布该指标。

上述 direct-GT 经验区间早于 sim3_v1,发布修正后的 direct-GT 归一化分数前必须重新验证。当前默认的 native_intended 分数面不受此影响。

Audit manifest: docs/assets/metric_examples/curated_same_case_manifest.json.

输入图像: image_static_photorealistic_city_0038
输入图像
输入已核验 · 同一 benchmark case · gap 0.7722

image_static_photorealistic_city_0038

套件: image_static场景: photorealistic / outdoor / city
基准 prompt target

Camera orbit left. A mediterranean courtyard with fountain, stone benches, and bougainvillea.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9801方向置信度 0.980 · ATE 平移 0.103 · 旋转 5.0°

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.2079方向置信度 0.208 · ATE 平移 1.035 · 旋转 24.1°
输入图像: image_static_photorealistic_workspaces_0023
输入图像
输入已核验 · 同一 benchmark case · gap 0.9807

image_static_photorealistic_workspaces_0023

套件: image_static场景: photorealistic / indoor / workspaces
基准 prompt target

Camera move left. A modern workspace with desks, computers, and office chairs.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9990方向置信度 0.999 · ATE 平移 0.054 · 旋转 7.0°

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0183方向置信度 0.018 · ATE 平移 0.760 · 旋转 15.7°
输入图像: image_static_stylized_terrestrial_landscape_0102
输入图像
输入已核验 · 同一 benchmark case · gap 0.8186

image_static_stylized_terrestrial_landscape_0102

套件: image_static场景: stylized / outdoor / terrestrial_landscape
基准 prompt target

Camera move left. A forest edge with clearing, sunlight, and trees.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9810方向置信度 0.981 · ATE 平移 0.044 · 旋转 0.1°

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.1623方向置信度 0.162 · ATE 平移 0.106 · 旋转 6.3°