由于保存空间和数据传输速度的限制,我们可能没办法将录像设备所录制到的信息,或是借由软件演算出来的画面完好无损地保存或是发送。视频是给人看的,但是人类的眼睛的分辨能力有限,非常细微的信号差异其实感受不太出来,因此可以使用一些会改变原本图像信号的方式来将其重新编码(Encode)成和原始图像信号看起来差异不大的格式,减少保存图像信号所占用空间和加快发送图像信号时的速度,而这种压缩图像信号的方式就称为有损压缩(Lossy Compression)。有损压缩图像信号的方式有很多种,以 10-bit 的色彩深度来说,常见的格式为 H.264、H.265、VP9,另外还有比较后来才出现的 AV1 格式。有些编码格式除了可以做有损压缩外,还可以做无损压缩(Lossless Compression),将原始的视频画质完整地保留下来。这篇文章并不会去比较视频编码格式的画质优劣,因为相同编码格式的视频,其画质可以借由增加视频的比特率来提高。取而代之地,这篇文章将会实际地去对相同文件做不同格式的转档,并以 SSIM (structural similarity) 指针为准,来比较在几乎相同画质下的不同格式的视频,其比特率的差异如何。

有损视频压缩

有损图像压缩的原则

有损(Lossy)图像压缩,顾名思义就是将图像信号使用破坏性压缩,使用较少、有限的数据量来还原出接近原始的图像信号,以缩小保存图像信号所需的空间。

由于图像是给人看的,因此理论上会尽量保留会对人类肉眼比较敏感的信息,并移除或是减少人类肉眼不敏感的部份。

视频压缩

一部视频是由很多张图像(影格)所构成,由于这些图像有时间顺序,因此在进行视频编码时,我们不需要将其所有的图像都完整地保存下来,而是可以借由计算连续的影格,将其有变动和没变动的部份分开来保存,因此没变动的图像部份,尽管会在多个影格中出现,但也还是只需要保存一份的信息就好,如此一来就能把保存空间节省下来。当然,这样子做的话也会让视频在解码的时候需要去参考前后图像的数据来绘制出目前要播放出来的完整图像。

视频的比特率

视频的比特率直接影响着视频文件的大小,这点很重要,因为有些人可能会提出这样无理的要求:「我想要保留视频的比特率,但是要让视频文件变小一点。」

实际上视频文件所需占用的保存空间算法如下:

保存空间 = 平均比特率 * 视频时间长度

单看视频的比特率,即便是使用同一个编码器所编码出来的视频,也无法比较出两个视频的画质优劣。这是因为视频的压缩如同上述所提,除了会压缩单张图像之外,也会针对图像和图像之间的关系进行处理,处理得愈多,比特率自然就愈低,但视频画质并不会因此下降或是提升。

若要比较相同片源的视频画质,最好还是参考以下文章来计算重制后的视频和片源的画质差异程度……数字会说话!

常见的压缩格式

视频压缩的格式有许多种,不同的压缩格式会使用不同的算法来对图像信号进行压缩,影格之间的处理方式也有所不同。愈新的视频编码格式通常会有愈好的压缩率,但也需要更久的运算时间来进行编码和解码的动作。

MPEG-4

MPEG-4(此处指 MPEG-4 Part 2)是 MPEG (Moving Picture Experts Group)在 1990 年代所制定的视频编码标准,提供多种 Profile。代表的编码器有 Xvid 和 DivX,前者采用 GPL 开源,更为流通,基于 MPEG-4 ASP (Advanced Simple Profile)标准。

H.264

H.264 是由多个组织组成的 JVT (Joint Video Team)在 2000 年代所制定的标准,也被分类在 MPEG-4 之下(MPEG-4 Part 10),也称为 MPEG-4 AVC,可以写成 H.264/AVC。H.264 可在相同画质下提供比过去 MPEG-4 标准更低的比特率,且支持 10-bit 编码(Hi10P)。代表的编码器为 x264。

H.265

H.265 是由 JCT-VC 在 2010 年代所制定的标准,在 MPEG-H 之下(MPEG-H Part 2),也称为 MPEG-H HEVC( High Efficiency Video Coding),可在相同画质下提供比 MPEG-4 AVC 标准更低的比特率。代表的编码器为 x265。

VP8

由于 MPEG 系列的格式要商业运用的话都需要缴交授权费用,因此 Google 在 2010 年将制定 VP8 的 On2 Technologies 收购之后,就将 VP8 开源(BSD 授权),使其成为可以免费授权使用的高品质视频编码格式,常与 H.264 做比较。官方的编码器为 libvpx。

VP9

公元 2013 年,VP8 的后继格式 VP9 诞生,可在相同画质下提供比过去 VP8 更低的比特率,且支持 10-bit 编码(VP9 Profile 2)。官方的编码器为 libvpx。

AV1

AV1 是由多个组织组成的开放媒体联盟(AOMedia)在 2018 年开发出来的视频编码格式,其编码技术主要来自于 Google 开天窗的 VP10(VP9 的下一代),因此可以在相同画质下提供比过去 VP9 更低的比特率。官方的编码器为 libaom。

视频压缩格式的优劣

通常愈晚出来的视频格式压缩效果会愈好,但也会需要更多的运算时间来进行编码和解码的动作。像是 H.264、H.265、VP9、AV1 这样的格式,它们虽然都有支持 10-bit 编码,但若没有办法被硬件编码或解码的话,就需要用到大量的 CPU 运算资源透过软件程序来进行编码或解码,在硬件等级比较不好的电脑设备上若无法顺畅地编解码也等同无用武之地。现阶段最流行的 10-bit 视频编码格式还是 H.265,虽然它不是最好的,但因为它有最多的硬件设备支持,所以是最实用的。

H.264(x264)、H.265(x265)、VP9、AV1 的比较

接下来才是本篇文章的重头戏,笔者将会使用一个分辨率为 1920x1080、FPS 为 24、像素格式为 yuv420p10le、长度为 30 秒的无损压缩的片源,来实际对 H.264、H.265、VP9 和 AV1 格式进行转档测试。

测试用的视频档

这个测试用的视频文件来自于这个网站提供的 Big Buck Bunny 视频逐格 PNG 档。笔者下载了其 4:30~5:00 的片段的图档,也就是 big_buck_bunny_06480.png 到 big_buck_bunny_07200.png,并利用以下指令透过 x265 编码成无损压缩的 H.265 视频,比特率为 194249Kbps。

ffmpeg -r 24 -start_number 06480 -i big_buck_bunny_%05d.png -vcodec libx265 -x265-params lossless=1 -preset veryslow -pix_fmt yuv420p10le out.mp4

可以透过这个链接下载压制好的文件。

如果以 VP9 格式来做无损压缩的话,使用的指令如下:

ffmpeg -i 'Big Buck Bunny.mp4' -vcodec vp9 -lossless 1 -speed 0 'Big Buck Bunny.webm'

这个以 VP9 压缩后的视频,比特率为 209155Kbps,约为 x265 压制出来的 108%。由此可知,10-bit 无损压缩下,x265 是比 VP9 还要好上一点的。

编码器

为了编码出不同格式的文件,笔者使用了多种不同的编码器,都是透过 FFmpeg 4.2.1 来操作。列表如下:

  • x264 snapshot-20190211-2245:用来进行 H.264 的编码。
  • x265 3.2:用来进行 H.265 的编码。
  • libvpx 1.8.1:用来进行 VP9 的编码。
  • libaom 1.0.0-20200110:用来进行 AV1 的编码。

画质差异分析工具

为了比较视频文件之间的画质差异,笔者使用了 FFmpeg 来计算 PSNR 和 SSIM(作法可参考这篇文章),也用 FFmpeg 来截取视频中的影格画面,并使用 ImageDifferencer 1.0.1 来比较图像在压缩前与压缩后的差异(可参考这篇文章)。

片源的影格截取

以下是从片源的第 16 秒所取得的影格画面:

片源 Big Buck Bunny 第 16 秒的影格

使用的 FFmpeg 指令如下:

ffmpeg -i 'Big Buck Bunny.mp4' -ss 16 -frames:v 1 'Big Buck Bunny.png'

CRF (Constant Rate Factor)

CRF 是 x264、x265、libvpx、libaom 用来控制视频画质的参数,数值愈低画质愈高(比特率相对愈高),x264 和 x265 的 CRF 范围都是 0~51;libvpx 和 libaom 的 CRF 范围是 0~63。

若要使用 CRF 来控制 x264 和 x265 的编码画质,FFmpeg 指令写法如下:

ffmpeg -i 输入视频路径 -vcodec libx264/libx265 -crf 20 -preset veryslow 输出视频路径

其中,-preset veryslow 参数可以尽可能地在保有相同的画质下,减少比特率。(如果要让比特率与画质拥有极致的比例,可以使用 -preset placebo,不过编码速度会很慢!)

若要使用 CRF 来控制 libvpx-vp9 的编码画质,FFmpeg 指令写法如下:

ffmpeg -i 输入视频路径 -vcodec libvpx-vp9 -b:v 0 -crf 20 -speed 0 输出视频路径

其中,-speed 0 的功用类似 x264 和 x265 的 -preset veryslow。

若要使用 CRF 来控制 libaom 的编码画质,FFmpeg 指令写法如下:

ffmpeg -i 输入视频路径 -vcodec libaom-av1 -b:v 0 -crf 20 -strict -2 输出视频路径

其中,-strict -2 是用来允许使用 FFmpeg 实验性的功能(因为 AV1 还是 FFmpeg 4.2.1 的实验性功能)。

开始比较

底下将会以先前这篇 8-bit 视频编码比较的文章作为基准,针对其中根据 SSIM 找出的三种画质等级(视觉无损、标准画质和笔者可接受的最低画质)来将片源分别用 x264、x265、VP9、AV1 进行有损压缩,最后再来比较这些 SSIM 指针相近的视频,其比特率的高低。

视觉无损(#{{ SSIM \approx 0.9925}}#)

「视觉无损」(visually lossless)的画质,也就是虽然不是真的无损,但人类肉眼看起来的结果是跟片源一模一样的。x264 使用 21 作为 CRF 参数值来进行转档后,可以得到比特率为 2879Kbps 的视频。此时的视频与片源的 PSNR 为 46.972455,SSIM 为 0.992194。

影格截取如下:

x264 CRF 21 的影格截取

与原始影格的差异如下:

x264 CRF 21 与原始影格的差异

从上图可以看出 x264 在压缩图像的时候会先从丢失边缘的细节开始。

当 x265 的 CRF 参数设为 22 时,可以得到比特率为 2423Kbps 的视频。此时的视频与片源的 PSNR 为 40.536643,SSIM 为 0.973012。

影格截取如下:

x265 CRF 22 的影格截取

与原始影格的差异如下:

x265 CRF 22 与原始影格的差异

从上图可以看出 x265 在压缩图像的时候也会先从丢失边缘的细节开始。

当 VP9 的 CRF 参数设为 22 时,可以得到比特率为 3955Kbps 的视频。此时的视频与片源的 PSNR 为 48.028055,SSIM 为 0.992675。

影格截取如下:

VP9 CRF 22 的影格截取

与原始影格的差异如下:

VP9 CRF 22 与原始影格的差异

从上图可以猜测出 VP9 在压缩图像的时候会均匀地改变整张图像的亮度和色彩,以保留更多的细节。

当 AV1 的 CRF 参数设为 26 时,可以得到比特率为 1823Kbps 的视频。此时的视频与片源的 PSNR 为 47.767069,SSIM 为 0.992540。

影格截取如下:

AV1 CRF 26 的影格截取

与原始影格的差异如下:

AV1 CRF 44 与 CRF 26 影格的差异

从上图可以猜测出 AV1 在压缩图像的时候,采取的策略类似 x265。

标准画质(#{{ SSIM \approx 0.9874}}#)

当 x264 的 CRF 参数设为 25 时,可以得到比特率为 1823Kbps 的视频。此时的视频与片源的 PSNR 为 44.359683,SSIM 为 0.987000。

当 x265 的 CRF 参数设为 26 时,可以得到比特率为 1503Kbps 的视频。此时的视频与片源的 PSNR 为 44.960221,SSIM 为 0.987482。

当 VP9 的 CRF 参数设为 30 时,可以得到比特率为 2481Kbps 的视频。此时的视频与片源的 PSNR 为 45.331133,SSIM 为 0.987505。

当 AV1 的 CRF 参数设为 33 时,可以得到比特率为 1189Kbps 的视频。此时的视频与片源的 PSNR 为 45.217437,SSIM 为 0.987623。

笔者可接受的最低画质(#{{ SSIM \approx 0.9728}}#)

CRF 太高的话,转出来的画质实在是伤眼睛,可以明显看到图像出现色块。笔者觉得 SSIM 约为 0.9728 时是可接受的最低画质。

当 x264 的 CRF 参数设为 31 时,可以得到比特率为 935Kbps 的视频。此时的视频与片源的 PSNR 为 40.536643,SSIM 为 0.973012。

影格截取如下:

x264 CRF 31 的影格截取

与原始影格的差异如下:

x264 CRF 31 与原始影格的差异

与视觉无损的影格差异如下:

x264 CRF 31 与 CRF 21 影格的差异

从上图可以看出 x264 在更低的比特率时主要会丢失更多边缘的细节。

当 x265 的 CRF 参数设为 32 时,可以得到比特率为 730Kbps 的视频。此时的视频与片源的 PSNR 为 40.991893,SSIM 为 0.972977。

影格截取如下:

x265 CRF 32 的影格截取

与原始影格的差异如下:

x265 CRF 32 与原始影格的差异

与视觉无损的影格差异如下:

x265 CRF 32 与 CRF 22 影格的差异

当 VP9 的 CRF 参数设为 40 时,可以得到比特率为 1247Kbps 的视频。此时的视频与片源的 PSNR 为 41.482149,SSIM 为 0.973558。

影格截取如下:

VP9 CRF 40 的影格截取

与原始影格的差异如下:

VP9 CRF 40 与原始影格的差异

与视觉无损的影格差异如下:

VP9 CRF 40 与 CRF 22 影格的差异

从上图可以看出 VP9 在低比特率的时候并不太会偏重丢失哪方面的细节。

当 AV1 的 CRF 参数设为 44 时,可以得到比特率为 570Kbps 的视频。此时的视频与片源的 PSNR 为 40.975739,SSIM 为 0.971974。

影格截取如下:

AV1 CRF 44 的影格截取

与原始影格的差异如下:

AV1 CRF 44 与原始影格的差异

与视觉无损的影格差异如下:

AV1 CRF 44 与 CRF 26 影格的差异

结论

在画质等级为「视觉无损」时,如果 x264 的比特率是 100%,则 x265 是 84.16%,VP9 是 137.37%,AV1 是 63.32%。因此在高清的情况下,使用 x265、AV1 都是不错的选择。

在画质等级为「标准画质」时,如果 x264 的比特率是 100%,则 x265 是 82.45%,VP9 是 136.09%,AV1 是 65.22%。因此在标准画质的情况下,依然还是使用 x265、AV1 才是不错的选择。

在画质等级为「笔者可接受的最低画质」时,如果 x264 的比特率是 100%,则 x265 是 78.07%,VP9 是 133.37%,AV1 是 60.96%。因此在低画质的情况下,仍然还是使用 x265、AV1 才是不错的选择。

FFmpeg 指令方面,x264 可接受的 CRF 范围是 21~31,x265 可接受的 CRF 范围是 22~32,VP9 可接受的 CRF 范围是 22~40,AV1 可接受的 CRF 范围是 26~44。

另外如果与先前这篇 8-bit 视频编码比较的文章对比的话,可以发现在相同 SSIM 下,10-bit 视频的比特率要比 8-bit 视频还要来得低。