跳转到内容

Sharpness Retention

本指标通过监测边缘梯度的演化,评估生成视频中细节稳定性。成功产生的数值结果为 official:会进入 quality 维度和公开 leaderboard 向量。该实现采用向量化 Tenengrad 方法:分别计算水平方向(GxG_x)与竖直方向(GyG_y)Sobel 梯度的绝对值之和,构造二维清晰度向量以刻画纹理方向特征:

gt=(∑∣Gx∣∑∣Gy∣)(6)\mathbf{g}_t = \begin{pmatrix} \sum |G_x| \\ \sum |G_y| \end{pmatrix} \tag{6}

其中 Gx,GyG_x, G_y 为第 tt 帧灰度图经 3×33\times3 Sobel 算子得到的梯度响应。

引入噪声感知熔断机制以区分真实细节与高频伪影:记 ntn_t 为第 tt 帧 BRISQUE 噪声分数,τ\tau 为噪声阈值;当连续 55 帧满足 nt>τn_t > \tau 时,触发状态 Itrig=1I_{\mathrm{trig}}=1。融合惩罚逻辑 MM 将纹理相似度与熔断状态结合(相似度 S(⋅,⋅)S(\cdot,\cdot) 采用余弦内积,定义同式 (3)):

BRISQUE 对零方差帧没有定义。实现会给这类帧赋予配置中的最差值 brisque_bad,并继续把它计入聚合,因此纯色或黑帧坍缩会受到惩罚,而不会作为缺失分数被静默排除。

M(xt)={S(gt,g1),Itrig=0  ∧  nt<τclip ⁣(1−S(gt,g1), 0, 0.2),otherwise(11)M(x_t) = \begin{cases} S(\mathbf{g}_t, \mathbf{g}_1), & I_{\mathrm{trig}} = 0 \;\wedge\; n_t < \tau \\[4pt] \mathrm{clip}\!\bigl(1 - S(\mathbf{g}_t, \mathbf{g}_1),\, 0,\, 0.2\bigr), & \text{otherwise} \end{cases} \tag{11}

对低–中分段细节增强,采用上凸对数变换 L(⋅)L(\cdot)(x∈[0,1]x \in [0,1],避免无意义对数并归一化):

L(x)=ln⁡(1+k⋅x)ln⁡(1+k),k>0(10)L(x) = \frac{\ln(1 + k \cdot x)}{\ln(1 + k)}, \quad k > 0 \tag{10}

其中 kk 控制上凸程度,视觉领域常用 k∈[10,20]k \in [10, 20];分子保证 x=0⇒L(x)=0x=0 \Rightarrow L(x)=0,分母保证 x=1⇒L(x)=1x=1 \Rightarrow L(x)=1。

时序聚合采用归一化指数衰减权重 w^(d)\hat{w}(d)(定义同亮度一致性指标式 (5),d∈[1,T−1]d \in [1, T-1] 为帧距)。综合得分为:

SSharpness=∑d=1T−1w^(d)⋅L ⁣(M(xd+1))(12)S_{\mathrm{Sharpness}} = \sum_{d=1}^{T-1} \hat{w}(d) \cdot L\!\left(M(x_{d+1})\right) \tag{12}

其中 S(gt,g1)S(\mathbf{g}_t, \mathbf{g}_1) 为第 tt 帧与首帧清晰度向量的余弦相似度。该机制可在区分真实细节与高频噪声的同时,对系统性视觉崩塌施加惩罚。

Audit manifest: docs/assets/metric_examples/curated_same_case_manifest.json.

输入图像: image_static_photorealistic_terrestrial_landscape_0152
输入图像
输入已核验 · 同一 benchmark case · gap 0.8467

image_static_photorealistic_terrestrial_landscape_0152

套件: image_static场景: photorealistic / outdoor / terrestrial_landscape
基准 prompt target

Camera pan right. A desert canyon with rock formations, distant horizon, and sand.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9725

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.1258
输入图像: image_static_photorealistic_passageways_0128
输入图像
输入已核验 · 同一 benchmark case · gap 0.8771

image_static_photorealistic_passageways_0128

套件: image_static场景: photorealistic / indoor / passageways
基准 prompt target

Camera pan left. A modern hallway with potted plant, artwork, and hallway extension.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9749

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.0978
输入图像: image_static_stylized_living_spaces_0096
输入图像
输入已核验 · 同一 benchmark case · gap 0.8513

image_static_stylized_living_spaces_0096

套件: image_static场景: stylized / indoor / living_spaces
基准 prompt target

Camera pan right. A modern living space with hallway, neon lights, and artwork.

prompt source: prompt_target

两条视频的首帧都已通过与展示输入的几何匹配核验;高低标签只比较当前 metric。

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较高指标分分数 0.9514

Model result videos will be available with the ModelScope release. / 模型推理视频将在 ModelScope 方案上线后提供。

较低指标分分数 0.1001