Scene Memory F1

本指标用于评估相机回访之后，先前观测到的场景几何是否仍被 3D 点云重叠 支持。与图像对相似度指标不同，它通过 observation 点云与 revisit 点云之间的最近邻覆盖来评分场景记忆。闭环记忆的官方指标是 memory_scene_f1；本页的 scene_memory_f1 只留在 experimental：它按 GT 动作段边界切分轨迹，在非闭环路径上测到的是两段之间的 3D 一致性，不是记忆。两者共用 score_point_cloud_memory 内核。

长时域世界模型需要在 extended rollout 中保持场景结构稳定。模型可能在相邻帧之间看起来仍然一致，但视点回到先前区域时，墙面、家具或空间布局已经发生变化。Scene Memory F1 直接针对这类失败：它考察回访后有多少先前观测点仍能在 3D 中被匹配，以及 revisit 点云中有多少几何缺乏先前观测的支持。

Runtime 首先解析 observation 与 revisit 点云。若存在显式的 observation/revisit sidecar，或 bundled 的 scene_memory NPZ 归档，则直接加载对应点云；否则根据 action payload 及其关联的 ViPE depth sidecar 重建两侧点云。无效点会被剔除，并在配置 voxel_size 时进行体素下采样。默认用 trimmed ICP 对齐 revisit 点云（alignment = trimmed_icp，centroid_align = false）。距离阈值 $\tau_d$ 优先读取 distance_threshold；若未配置，则使用 distance_threshold_ratio $\cdot\mathrm{diag}$，默认比例为 $0.02$。

令 $P_{\mathrm{obs}}$ 为 observation 点云，$P_{\mathrm{rev}}$ 为对齐后的 revisit 点云。对点 $p$ 与点云 $P$，记 $d(p,P)$ 为最近邻距离。保留率衡量先前观测在回访时仍被支持的比例：

$$R_{\mathrm{mem}} = \frac{ |\{p \in P_{\mathrm{obs}}: d(p, P_{\mathrm{rev}}) < \tau_d\}| }{ |P_{\mathrm{obs}}| } \tag{1}$$

幻觉率衡量 revisit 中缺乏 observation 支持的几何，并在 F1 聚合前转为 precision：

$$R_{\mathrm{hall}} = \frac{ |\{q \in P_{\mathrm{rev}}: d(q, P_{\mathrm{obs}}) \ge \tau_d\}| }{ |P_{\mathrm{rev}}| } \tag{2}$$ $$P_{\mathrm{mem}} = 1 - R_{\mathrm{hall}} \tag{3}$$

最终分数对 retention 与 precision 做对称组合：

$$S_{\mathrm{scene}} = \frac{2\, P_{\mathrm{mem}}\, R_{\mathrm{mem}}}{P_{\mathrm{mem}} + R_{\mathrm{mem}}} \tag{4}$$

$S_{\mathrm{scene}}$ 越高表示场景记忆越强：更多先前观测几何被保留，且 revisit 中 unsupported 的点更少。该指标评估跨 revisit 的几何持续性，而非光度相似度、语义 prompt 对齐或绝对米制重建精度。

WorldAtlas 中本算法对应正式指标 scene_memory_f1（point_cloud_f1 后端）；归一化配置下 raw 与 normalized 均为 $[0,1]$，越高越好。它的切分协议与当前闭环套件不同；当前闭环协议使用位姿转折点切分的 memory_scene_f1。

60 秒同输入示意案例

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像

60 秒 memory_loop · 同输入示意

memory-dolly_loop-memory_pool_002

套件: memory_loop场景: photorealistic / outdoor / city

基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

这是按 GT 动作边界切开的旧探针。用来看一条 rollout 的两半是否仍描述同一个三维场景。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

输出 Ascene_memory_f1

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

输出 Bscene_memory_f1

输入图像

60 秒 memory_loop · 同输入示意

memory-double_yaw_loop-memory_pool_348

套件: memory_loop场景: photorealistic / outdoor / verdant_landscape

基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

这是按 GT 动作边界切开的旧探针。用来看一条 rollout 的两半是否仍描述同一个三维场景。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

输出 Ascene_memory_f1

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

输出 Bscene_memory_f1