跳转到内容

Memory Rendering Recovery

本指标用于评估回访视点的光照、色度与纹理是否回到第一次看见时的样子。它丢掉高频内容,专门抓「几何还在、渲染已经换了一套」的失败。CIELAB 空间均值刻意忽略物体轮廓,因此本指标不替代 memory_revisit_fidelity 的 DINOv2 / SSIM 读数。

使用与保真度相同的位姿配对帧。memory_return_gate 未通过也继续评分;没有严格回访对时,与保真度共用最近位姿回退配对,并记录 gate 状态与配对来源。把回访帧 resize 到参考帧尺寸,转到 OpenCV 8-bit CIELAB。明度差把 LL 通道均值还原到 [0,100][0,100] 后取绝对值;色度差是 a,ba,b 均值(减去 128128 偏移)的欧氏距离:

ΔL=∣Lˉa−Lˉb∣⋅100255,ΔC=∥(aˉa,bˉa)−(aˉb,bˉb)∥2(1)\Delta L = \left|\bar{L}_a - \bar{L}_b\right|\cdot\frac{100}{255}, \qquad \Delta C = \left\| (\bar{a}_a, \bar{b}_a) - (\bar{a}_b, \bar{b}_b) \right\|_2 \tag{1}

两项分别映射为指数衰减相似度;纹理项是 VGG Gram 距离 dGd_G(与 style_consistency 同一描述子)的同类变换:

sL=exp⁡(−ΔL/τL),sC=exp⁡(−ΔC/τC),sG=exp⁡(−dG/τG)(2)s_L = \exp(-\Delta L / \tau_L), \qquad s_C = \exp(-\Delta C / \tau_C), \qquad s_G = \exp(-d_G / \tau_G) \tag{2}

默认 τL=6\tau_L = 6、τC=8\tau_C = 8、τG=0.002\tau_G = 0.002。三项都在时 pair 分取算术平均;VGG 权重缺失时自动降级为明度与色度等权平均,不让整条指标失败。视频级分数是所选 KK 对的均值:

sk={(sL+sC+sG)/3,Gram available(sL+sC)/2,otherwise,Srend=1K∑k=1Ksk(3)s_k = \begin{cases} (s_L + s_C + s_G)/3, & \text{Gram available} \\[4pt] (s_L + s_C)/2, & \text{otherwise} \end{cases}, \qquad S_{\mathrm{rend}} = \frac{1}{K}\sum_{k=1}^{K} s_k \tag{3}

WorldAtlas 中本算法对应正式指标 memory_rendering_recovery(cielab_gram 后端);归一化配置下 raw 与 normalized 均为 [0,1][0,1],越高越好。memory_loop 上,只要选中的帧对可评分即为 official,包括 gate 未通过的样本;纹理项可单独降级。

Audit manifest: docs/assets/metric_examples/longseq_memory_60s_examples_20260909.json.

输入图像: memory-dolly_loop-memory_pool_002
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8937

memory-dolly_loop-memory_pool_002

套件: memory_loop场景: photorealistic / outdoor / city
基准 prompt target

Move the camera forward through the scene, then back to where it started.

prompt source: memory_loop_prompt

回访时请看光照与风格。较好的结果保持同一色盘,较差的结果曝光或渲染风格发生漂移。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9392 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0455 · official
输入图像: memory-square_loop-memory_pool_396
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.9288

memory-square_loop-memory_pool_396

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Walk a closed square around the scene and return to the starting view.

prompt source: memory_loop_prompt

回访时请看光照与风格。较好的结果保持同一色盘,较差的结果曝光或渲染风格发生漂移。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9438 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0150 · official
输入图像: memory-yaw_loop_180-memory_pool_147
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8957

memory-yaw_loop_180-memory_pool_147

套件: memory_loop场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Turn the camera to the right, then turn back to the starting view.

prompt source: memory_loop_prompt

回访时请看光照与风格。较好的结果保持同一色盘,较差的结果曝光或渲染风格发生漂移。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9021 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0064 · official
输入图像: memory-palindrome_loop-memory_pool_255
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8686

memory-palindrome_loop-memory_pool_255

套件: memory_loop场景: photorealistic / indoor / workspaces
基准 prompt target

Move forward, turn and continue, then retrace the whole path back.

prompt source: memory_loop_prompt

回访时请看光照与风格。较好的结果保持同一色盘,较差的结果曝光或渲染风格发生漂移。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.8940 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0254 · official
输入图像: memory-double_yaw_loop-memory_pool_405
输入图像
60 秒 memory_loop · 同一 benchmark case · gap 0.8988

memory-double_yaw_loop-memory_pool_405

套件: memory_loop场景: photorealistic / outdoor / city
基准 prompt target

Turn away and back to the start twice in a row.

prompt source: memory_loop_prompt

回访时请看光照与风格。较好的结果保持同一色盘,较差的结果曝光或渲染风格发生漂移。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9179 · official

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0191 · official