MEt3R 一致性

2026-09-10：当前实现为 met3r_paper_consecutive_symmetric_v1。旧参考图/anchor 和 reference_all_anchors_v2 成绩不属于论文配对协议，不能与本版混用。CPU 实现测试不等于预训练模型的 GPU 数值验收。

met3r_consistency 按 MEt3R，CVPR 2025 的双图定义计算：DUSt3R 重建、DINO16 特征、FeatUp 上采样、有效重叠区域内的余弦不相似度。直接调用作者未修改的实现，固定 commit 为 ee0e1752898559e1a3e85e2e151d3edeb9b55f73。

对于每对相邻生成帧 (I_t, I_{t+1})，分别调用官方 scorer 计算两个方向，再取平均，对应论文式 (1)；视频分数再对所有相邻帧对取均值。不再拿输入原图或参考视频与预测帧比较，也不使用全局随机 anchor。

MEt3R 方法概览 — MEt3R 使用多视角生成图像之间的几何和表征一致性来度量生成结果的 multi-view consistency。

论文 raw 分数范围为 [0, 2]，越低越好。榜单对每个视频直接计算 clip(1 - raw/2, 0, 1)，再平均并乘 100，不反推 error_ref 均值。报告里的 normalized 可保留旧兼容变换；最终展示值是 score_details.published_score。无法对应到逐视频报告的旧成绩保留历史已发布汇总，并在网页悬停说明，不能称为已重算的 raw/scored 均值。

零重叠时保留官方代码返回的有限值并记录诊断信息，不再替换为最差分、不按 overlap 删样本、不修补 NaN。空重叠返回有限零值是上游实现的边界行为，不表示两帧已被证明一致。解码失败、非法 mask 或非有限分数使本条测量失败。

视频输入适配明确为：完整预测文件、原生步长 1，不做时间重采样、不插入 conditioning image；RGB 以带抗锯齿的双线性插值缩放到约 256² 像素，理想高度取最近的 32 像素、宽度取最近的 16 像素（等距向上取整）。官方 FeatUp 的 DINO patch embedder 在 patch 网格高度为奇数时会裁掉一行一列，却不相应调整位置编码；偶数行网格可避开这一不兼容路径，不改官方代码或权重，原先已兼容的缩放尺寸保持不变。运行结果将该约定记录为 area_256_squared_height32_width16_bilinear_antialias，渲染尺寸随适配后的宽高变化。论文规定约 256² 和保持宽高比，但没有公开完全相同的整数取整规则；这属于已记录的输入适配约定，不能声称逐位复现作者的视频预处理。论文特定数据集使用的 48/80 视角限制，不静默截取到 WorldAtlas 视频上。

这里显式选择论文主体的 DUSt3R 路径，而不是新版本官方库默认的 MASt3R。该指标拒绝非 FeatUp 配置；缺少 FeatUp 或 DUSt3R 依赖时明确报错，不回退到 bilinear 特征。发布前仍需新依赖锁和预训练 GPU 直接调用对照。

下方历史案例仅为追溯保留，使用了已废止的配置/配对协议，不代表当前新版成绩。

MEt3R 代表性对比

以下代表性对比从 2026-07-17 正式 image_static MEt3R 快照中筛选，并经过 frame strip 人工复核。每个展示固定一个 benchmark case——相同的输入图像与 eval-plan prompt target——并比较两个 prediction 视频。MEt3R 归一化分数越高越好，raw distance 越低越好。

不同 adapter 的实际 conditioning 可能不同，因此这些是 metric 诊断案例，不是受控的模型排名对比。精确路径、哈希、overlap 值及 report 来源见机器可读 MEt3R 清单。

Case 1 · 可见结构漂移会降低多视角一致性

`image_static_stylized_dining_spaces_0115`

image_staticstylized / indoor / dining_spaces

Benchmark prompt target

Camera pan right. A futuristic dining area with dining table, chairs, and digital displays. Camera pull out. A futuristic living room with sofa, digital screens, and neon accents. Camera move right. A futuristic balcony with neon signs, railing, and skyscrapers.

Output A 按目标场景序列推进，在评测 anchor 处仍保持清晰、稳定的结构；Output B 出现半透明重复轮廓与扭曲的房间几何，有效 overlap 下降，MEt3R raw distance 随之升高。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output AMEt3R：0.9823 normalized · 0.0354 raw · 0.9388 overlap

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output BMEt3R：0.5737 normalized · 0.8527 raw · 0.4778 overlap

Case 2 · 视角突变导致 anchor overlap 过低

`image_static_photorealistic_aquatic_landscape_0006`

image_staticphotorealistic / outdoor / aquatic_landscape

Benchmark prompt target

Camera pull out. A forest edge with rocky shore and trees. Camera pan right. A forest edge with open meadow, grassy field, and distant hills. Camera move right. A hiking trail with path through trees and small clearing.

Output A 逐步改变视角，同时保留山体、林线和湖岸结构；Output B 更突然地跳向林间小径。在评测 anchor 上，有效投影 overlap 降至 0.0529，MEt3R raw distance 因此升高。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output AMEt3R：0.9559 normalized · 0.0883 raw · 0.8652 overlap

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output BMEt3R：0.7167 normalized · 0.5666 raw · 0.0529 overlap

Case 3 · 不同运动幅度下的 anchor 一致性接近

`image_static_photorealistic_living_spaces_0140`

image_staticphotorealistic / indoor / living_spaces

Benchmark prompt target

Camera push in. A living room with sofa, bookshelf, and books.

Output A 的运动较小；Output B 做了更大幅、平滑的相机运动并露出书架。在被评估的 MEt3R anchor 上，两者都保持了较高的特征与投影视角一致性，因此得分非常接近。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output AMEt3R：0.9957 normalized · 0.0087 raw · 0.5406 overlap

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

Output BMEt3R：0.9972 normalized · 0.0055 raw · 0.5455 overlap

参考文献

BibTeX

@inproceedings{asim25met3r,
    title = {MEt3R: Measuring Multi-View Consistency in Generated Images},
    author = {Asim, Mohammad and Wewer, Christopher and Wimmer, Thomas and Schiele, Bernt and Lenssen, Jan Eric},
    booktitle = {IEEE/CVF Computer Vision and Pattern Recognition ({CVPR})},
    year = {2025},
}