指南
有损加速的质量如何评分
跨步 cache 和稀疏注意力通过跳过部分计算来加快视频生成,输出也会随之改变。每个有损配置都将以同一 GPU 上同一引擎的无损输出为基准评分;仪表板会直接展示分数,不设合格线。
更新于
与官方 Diffusers 参考视频比较的 PSNR(dB)
- B200 上低于 17 dB 的视频,均未开启有损优化
- 7 / 20
- H100 上低于 17 dB 的视频,均未开启有损优化
- 5 / 20
- 无损视频中最低分与最高分的差距
- 15.1 dB
全部 40 个分数
| Prompt | B200 (dB) | H100 (dB) |
|---|---|---|
| ping-pong | 12.86 | 12.88 |
| shoe-laces | 14.79 | 15.08 |
| zipper-close | 16.10 | 16.90 |
| paper-fold | 16.86 | 16.80 |
| umbrella-open | 17.02 | 16.94 |
| book-pages | 17.10 | 17.10 |
| leaves-rake | 16.96 | 17.71 |
| station-clock | 13.08 | 23.76 |
| kettle-pour | 19.46 | 19.65 |
| sewing-machine | 19.09 | 20.90 |
| paint-brush | 16.94 | 24.33 |
| dog-shake | 21.05 | 20.88 |
| ice-cubes | 21.24 | 21.16 |
| wind-chimes | 22.86 | 20.81 |
| basketball-bounce | 22.58 | 21.53 |
| window-rain | 23.55 | 23.49 |
| ceramic-wheel | 26.17 | 25.39 |
| rolling-ball | 26.59 | 26.46 |
| coffee-grinder | 27.54 | 27.56 |
| candle-light | 27.39 | 27.92 |
为什么不设 PSNR 分档线
目前,仪表板会计算每条视频与官方 Diffusers 参考视频之间的 PSNR:使用相同的 prompt 和 seed,逐帧比较全部解码画面。一种简单的做法是直接按这个分数给有损配置分档,例如把 10–17 dB 视为质量差。
上图说明了这种做法为什么行不通。图中的视频都没有开启有损优化,却有不少落在示例分档区间内。两种 GPU 运行的是同一个引擎 SGLang;单看其中任何一种,分数就已覆盖了大部分范围,而且大多数 prompt 在两种 GPU 上的得分相差无几。分数的差异更多来自 prompt,而不是硬件。
此外,即使 prompt 和 seed 相同,不同引擎或并行配置生成的像素也会不同。以参考视频为基准设固定分档线,衡量的其实是 prompt 和具体实现,而不是优化本身。
评分方法
将每个有损运行与同一引擎的无损运行配对。GPU、引擎、服务器布局、prompt 和 seed 都保持不变,只切换有损选项,因此输出中的任何差异都来自优化本身。
- GPU
- 引擎
- 服务器布局
- prompt
- seed
- PSNR
- dB · 越高越接近
- SSIM
- ≤ 1 · 越高越接近
- LPIPS
- 0 表示完全一致 · 越低越接近
已评分的 prompt(最多 20 条)中的中位数和最差的一条视频。
每个配置报告 PSNR、SSIM 和 LPIPS 三项分数,每项给出两个数:在已评分的 prompt 中,中位数视频和最差视频各自的分数。无损配置还会再运行一次,两次运行之间的差距就是这组配对的本底噪声;小于这个差距的差异,不会被解读为优化带来的变化。
分数上线时遵循两条规则:
- 只给分数,不设合格线。 每个有损配置的分数与速度并列展示,由读者自行权衡。
- 阈值以后再定,也可能不设。 如果要设,会先用大家已经接受的有损改动(例如 FP8)进行校准。
寻找最佳平衡点
每个有损配置对应图中的一个点:横轴是它的视频与无损对照有多接近,纵轴是它相对无损对照的加速倍数。无损对照固定在 1.0×、完全一致的位置。同一引擎的配置会连成一条线,因此一个引擎提交多个 cache 阈值时,就会形成一条曲线。越靠右上方的点,速度越快,也越接近无损输出。
相对无损对照的加速倍数 ↑
与同一引擎无损输出比较的 PSNR(dB)· 越靠右越接近
图中使用的是占位数据,仅用于说明图表的读法。可以切换质量分数,对比 PSNR、SSIM 和 LPIPS。LPIPS 坐标轴是反向的,因此始终是越靠右越接近。将鼠标悬停在点上或选中某个点,即可查看对应数值。
分数会出现在哪里
在 VideoGenX 仪表板上,开启「有损优化」后,有损配置会以虚线显示,并附带同一运行、引擎和布局的无损曲线作对比;「查看画面变化」会对比播放有损视频与其无损对照。配对分数产出后,会显示在有损曲线的图例、数据点提示框和视频读数中;在此之前,读数中的「配对评分」一行显示为「计划中」。
数据来源。 开头的分布点图在页面生成时读取已发布的参考 PSNR,对应运行的链接列在图下方。评分器以及每个分数的校验方式见 video-generation README。最佳平衡点图为示意数据。