← VideoGenX

指南

有损加速的质量如何评分

跨步 cache 和稀疏注意力通过跳过部分计算来加快视频生成,输出也会随之改变。每个有损配置都将以同一 GPU 上同一引擎的无损输出为基准评分;仪表板会直接展示分数,不设合格线。

更新于

与官方 Diffusers 参考视频比较的 PSNR,仅含无损视频实测
B200中位数 19.3 dB
H100中位数 20.9 dB

与官方 Diffusers 参考视频比较的 PSNR(dB)

运行 41280191475 · SGLang 无损配置,4 张 GPU,未开启任何有损优化,逐帧比较全部解码画面。
B200 上低于 17 dB 的视频,均未开启有损优化
7 / 20
H100 上低于 17 dB 的视频,均未开启有损优化
5 / 20
无损视频中最低分与最高分的差距
15.1 dB
全部 40 个分数
PromptB200 (dB)H100 (dB)
ping-pong12.8612.88
shoe-laces14.7915.08
zipper-close16.1016.90
paper-fold16.8616.80
umbrella-open17.0216.94
book-pages17.1017.10
leaves-rake16.9617.71
station-clock13.0823.76
kettle-pour19.4619.65
sewing-machine19.0920.90
paint-brush16.9424.33
dog-shake21.0520.88
ice-cubes21.2421.16
wind-chimes22.8620.81
basketball-bounce22.5821.53
window-rain23.5523.49
ceramic-wheel26.1725.39
rolling-ball26.5926.46
coffee-grinder27.5427.56
candle-light27.3927.92

为什么不设 PSNR 分档线

目前,仪表板会计算每条视频与官方 Diffusers 参考视频之间的 PSNR:使用相同的 prompt 和 seed,逐帧比较全部解码画面。一种简单的做法是直接按这个分数给有损配置分档,例如把 10–17 dB 视为质量差。

上图说明了这种做法为什么行不通。图中的视频都没有开启有损优化,却有不少落在示例分档区间内。两种 GPU 运行的是同一个引擎 SGLang;单看其中任何一种,分数就已覆盖了大部分范围,而且大多数 prompt 在两种 GPU 上的得分相差无几。分数的差异更多来自 prompt,而不是硬件。

此外,即使 prompt 和 seed 相同,不同引擎或并行配置生成的像素也会不同。以参考视频为基准设固定分档线,衡量的其实是 prompt 和具体实现,而不是优化本身。

评分方法

将每个有损运行与同一引擎的无损运行配对。GPU、引擎、服务器布局、prompt 和 seed 都保持不变,只切换有损选项,因此输出中的任何差异都来自优化本身。

保持不变
  • GPU
  • 引擎
  • 服务器布局
  • prompt
  • seed
两次运行
无损运行关闭有损选项
有损运行开启有损选项
逐帧比较解码画面
PSNR
dB · 越高越接近
SSIM
≤ 1 · 越高越接近
LPIPS
0 表示完全一致 · 越低越接近
按配置报告

已评分的 prompt(最多 20 条)中的中位数和最差的一条视频。

每个配置报告 PSNR、SSIM 和 LPIPS 三项分数,每项给出两个数:在已评分的 prompt 中,中位数视频和最差视频各自的分数。无损配置还会再运行一次,两次运行之间的差距就是这组配对的本底噪声;小于这个差距的差异,不会被解读为优化带来的变化。

分数上线时遵循两条规则:

  • 只给分数,不设合格线。 每个有损配置的分数与速度并列展示,由读者自行权衡。
  • 阈值以后再定,也可能不设。 如果要设,会先用大家已经接受的有损改动(例如 FP8)进行校准。

寻找最佳平衡点

每个有损配置对应图中的一个点:横轴是它的视频与无损对照有多接近,纵轴是它相对无损对照的加速倍数。无损对照固定在 1.0×、完全一致的位置。同一引擎的配置会连成一条线,因此一个引擎提交多个 cache 阈值时,就会形成一条曲线。越靠右上方的点,速度越快,也越接近无损输出。

示意数据,非实测

相对无损对照的加速倍数 ↑

1.0×1.5×2.0×2.5×3.0×
↗ 更快,也更接近无损无损对照跨步 cachecache + 稀疏注意力

与同一引擎无损输出比较的 PSNR(dB)· 越靠右越接近

图中使用的是占位数据,仅用于说明图表的读法。可以切换质量分数,对比 PSNR、SSIM 和 LPIPS。LPIPS 坐标轴是反向的,因此始终是越靠右越接近。将鼠标悬停在点上或选中某个点,即可查看对应数值。

分数会出现在哪里

在 VideoGenX 仪表板上,开启「有损优化」后,有损配置会以虚线显示,并附带同一运行、引擎和布局的无损曲线作对比;「查看画面变化」会对比播放有损视频与其无损对照。配对分数产出后,会显示在有损曲线的图例、数据点提示框和视频读数中;在此之前,读数中的「配对评分」一行显示为「计划中」。

数据来源。 开头的分布点图在页面生成时读取已发布的参考 PSNR,对应运行的链接列在图下方。评分器以及每个分数的校验方式见 video-generation README。最佳平衡点图为示意数据。