跳转到内容

Memory Geometric Closure

检验回访帧的特征对应是否符合 ViPE 估计的相机几何。这是位姿/特征一致性代理指标,不是独立三维真值验证。

相对位姿为 Tb−1Ta=(R,t)T_b^{-1} T_a = (R, t)。非零基线使用单位平移方向,避免单目平移任意尺度影响极线计算:

E=[t∥t∥]×RF=Kb−⊤EKa−1(1)E = \left[\frac{t}{\lVert t \rVert}\right]_\times R \qquad F = K_b^{-\top} E K_a^{-1} \tag{1} spair=fpos⋅exp⁡(−eepi/τepi)+exp⁡(−erep/τrep)2(2)s_{\mathrm{pair}} = f_{\mathrm{pos}} \cdot \frac{ \exp(-e_{\mathrm{epi}} / \tau_{\mathrm{epi}}) + \exp(-e_{\mathrm{rep}} / \tau_{\mathrm{rep}}) }{2} \tag{2}

对 SIFT 匹配进行三角化,要求点在两台相机前方;fposf_{\mathrm{pos}} 的分母为全部匹配,因此相机后方的完美重投影不能拿满分。默认像素尺度为 τepi=4\tau_{\mathrm{epi}} = 4 px、τrep=8\tau_{\mathrm{rep}} = 8 px。有限三角化点不足时不给数字。

零/近零平移基线下 EE 退化,不代表成功。此时使用位姿导出的旋转单应 H=KbRKa−1H = K_b R K_a^{-1} 和双向传递误差,得分为 exp⁡(−e/τrep)\exp(-e / \tau_{\mathrm{rep}}),极线误差为不适用;不从这些匹配重新拟合 HH。

越高越好。整段得分对满足支持度要求的可测帧对取平均。return gate 未通过也继续评分;没有严格回访对时使用最近位姿回退配对,并记录 gate 状态与配对来源。缺失测量与测得零分有区别。近零基线容差只是数值门限,未做物理标定;特征重叠及估计器可靠性构成测量限制。后端为 sift_epipolar。

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像: memory-dolly_loop-memory_pool_065
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8982

memory-dolly_loop-memory_pool_065

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

较好的回环在返回后仍满足双视角几何解释;较差的回环布局与对应关系已经对不上。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8982 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official
输入图像: memory-double_yaw_loop-memory_pool_137
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.9150

memory-double_yaw_loop-memory_pool_137

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

较好的回环在返回后仍满足双视角几何解释;较差的回环布局与对应关系已经对不上。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9151 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0001 · official
输入图像: memory-yaw_loop_360-memory_pool_028
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.9203

memory-yaw_loop_360-memory_pool_028

套件: memory_loop场景: photorealistic / outdoor / city
基准 prompt target

Rotate the camera a full turn in place and come back to the starting view.

prompt source: memory_loop_prompt

较好的回环在返回后仍满足双视角几何解释;较差的回环布局与对应关系已经对不上。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9203 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official
输入图像: memory-yaw_loop_180-memory_pool_377
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.9014

memory-yaw_loop_180-memory_pool_377

套件: memory_loop场景: photorealistic / outdoor / verdant_landscape
基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

较好的回环在返回后仍满足双视角几何解释;较差的回环布局与对应关系已经对不上。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9014 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official
输入图像: memory-dolly_loop-memory_pool_352
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8918

memory-dolly_loop-memory_pool_352

套件: memory_loop场景: photorealistic / outdoor / aquatic_landscape
基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

较好的回环在返回后仍满足双视角几何解释;较差的回环布局与对应关系已经对不上。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8918 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0000 · official