由于保存空间和数据传输速度的限制,我们可能没办法将录像设备所录制到的信息,或是借由软件演算出来的画面完好无损地保存或是发送。视频是给人看的,但是人类的眼睛的分辨能力有限,非常细微的信号差异其实感受不太出来,因此可以使用一些会改变原本图像信号的方式来将其重新编码(Encode)成和原始图像信号看起来差异不大的格式,减少保存图像信号所占用空间和加快发送图像信号时的速度,而这种压缩图像信号的方式就称为有损压缩(Lossy Compression)。有损压缩图像信号的方式有很多种,常见的格式为 MPEG-4、H.264、VP8,另外还有比较后来才出现的 H.265、VP9、AV1 格式。有些编码格式除了可以做有损压缩外,还可以做无损压缩(Lossless Compression),将原始的视频画质完整地保留下来。这篇文章并不会去比较视频编码格式的画质优劣,因为相同编码格式的视频,其画质可以借由增加视频的比特率来提高。取而代之地,这篇文章将会实际地去对相同文件做不同格式的转档,并以 SSIM (structural similarity) 指针为准,来比较在几乎相同画质下的不同格式的视频,其比特率的差异如何。
有损视频压缩
有损图像压缩的原则
有损(Lossy)图像压缩,顾名思义就是将图像信号使用破坏性压缩,使用较少、有限的数据量来还原出接近原始的图像信号,以缩小保存图像信号所需的空间。
由于图像是给人看的,因此理论上会尽量保留会对人类肉眼比较敏感的信息,并移除或是减少人类肉眼不敏感的部份。
视频压缩
一部视频是由很多张图像(影格)所构成,由于这些图像有时间顺序,因此在进行视频编码时,我们不需要将其所有的图像都完整地保存下来,而是可以借由计算连续的影格,将其有变动和没变动的部份分开来保存,因此没变动的图像部份,尽管会在多个影格中出现,但也还是只需要保存一份的信息就好,如此一来就能把保存空间节省下来。当然,这样子做的话也会让视频在解码的时候需要去参考前后图像的数据来绘制出目前要播放出来的完整图像。
视频的比特率
视频的比特率直接影响着视频文件的大小,这点很重要,因为有些人可能会提出这样无理的要求:「我想要保留视频的比特率,但是要让视频文件变小一点。」
实际上视频文件所需占用的保存空间算法如下:
单看视频的比特率,即便是使用同一个编码器所编码出来的视频,也无法比较出两个视频的画质优劣。这是因为视频的压缩如同上述所提,除了会压缩单张图像之外,也会针对图像和图像之间的关系进行处理,处理得愈多,比特率自然就愈低,但视频画质并不会因此下降或是提升。
若要比较相同片源的视频画质,最好还是参考以下文章来计算重制后的视频和片源的画质差异程度……数字会说话!
常见的压缩格式
视频压缩的格式有许多种,不同的压缩格式会使用不同的算法来对图像信号进行压缩,影格之间的处理方式也有所不同。愈新的视频编码格式通常会有愈好的压缩率,但也需要更久的运算时间来进行编码和解码的动作。
MPEG-4
MPEG-4(此处指 MPEG-4 Part 2)是 MPEG (Moving Picture Experts Group)在 1990 年代所制定的视频编码标准,提供多种 Profile。代表的编码器有 Xvid 和 DivX,前者采用 GPL 开源,更为流通,基于 MPEG-4 ASP (Advanced Simple Profile)标准。
H.264
H.264 是由多个组织组成的 JVT (Joint Video Team)在 2000 年代所制定的标准,也被分类在 MPEG-4 之下(MPEG-4 Part 10),也称为 MPEG-4 AVC,可以写成 H.264/AVC。H.264 可在相同画质下提供比过去 MPEG-4 标准更低的比特率。代表的编码器为 x264。
H.265
H.265 是由 JCT-VC 在 2010 年代所制定的标准,在 MPEG-H 之下(MPEG-H Part 2),也称为 MPEG-H HEVC( High Efficiency Video Coding),可在相同画质下提供比 MPEG-4 AVC 标准更低的比特率。代表的编码器为 x265。
VP8
由于 MPEG 系列的格式要商业运用的话都需要缴交授权费用,因此 Google 在 2010 年将制定 VP8 的 On2 Technologies 收购之后,就将 VP8 开源(BSD 授权),使其成为可以免费授权使用的高品质视频编码格式,常与 H.264 做比较。官方的编码器为 libvpx。
VP9
公元 2013 年,VP8 的后继格式 VP9 诞生,可在相同画质下提供比过去 VP8 更低的比特率。官方的编码器为 libvpx。
AV1
AV1 是由多个组织组成的开放媒体联盟(AOMedia)在 2018 年开发出来的视频编码格式,其编码技术主要来自于 Google 开天窗的 VP10(VP9 的下一代),因此可以在相同画质下提供比过去 VP9 更低的比特率。官方的编码器为 libaom。
视频压缩格式的优劣
通常愈晚出来的视频格式压缩效果会愈好,但也会需要更多的运算时间来进行编码和解码的动作。像是 H.265、VP9、AV1 这样的格式,若没有办法被硬件编码或解码的话,就需要用到大量的 CPU 运算资源透过软件程序来进行编码或解码,因此即便它们拥有比 MPEG-4、H.264、VP8 格式还要先进的技术,在硬件等级比较不好的电脑设备上若无法顺畅地编解码也等同无用武之地。所以,现阶段最流行的格式还是 H.264,虽然它不是最好的,却是最实用的。
MPEG-4(Xvid)、H.264(x264)、H.265(x265)、VP8、VP9、AV1 的比较
接下来才是本篇文章的重头戏,笔者将会使用一个分辨率为 1920x1080、FPS 为 24、像素格式为 yuv420p、长度为 30 秒的无损压缩的片源,来实际对 MPEG-4、H.264、H.265、VP8、VP9 和 AV1 格式进行转档测试。
测试用的视频档
这个测试用的视频文件来自于这个网站提供的 Big Buck Bunny 未压缩视频档。笔者截取了其中的 4:30~5:00 的片段,其平均比特率为 597197Kbps。
接着使用 FFmpeg,以 x265 将其无损压制成 MP4 文件,使用的指令如下:
可以点我下载压制好的文件。
这个以 x265 压缩后的视频,比特率为 93314Kbps,约只有原先的 15.63%。如果以 VP9 格式来做无损压缩的话,使用的指令如下:
这个以 VP9 压缩后的视频,比特率为 111791Kbps,约有原先的 18.72%。由此可知,无损压缩下,x265 是比 VP9 还要来得好的。
编码器
为了编码出不同格式的文件,笔者使用了多种不同的编码器,都是透过 FFmpeg 4.1.1 来操作。列表如下:
- libxvid 1.3.5:用来进行 MPEG-4 的编码。
- x264 snapshot-20190211-2245:用来进行 H.264 的编码。
- x265 3.0:用来进行 H.265 的编码。
- libvpx 1.6.1:用来进行 VP8 和 VP9 的编码。
- libaom 1.0.0-20190212:用来进行 AV1 的编码。
画质差异分析工具
为了比较视频文件之间的画质差异,笔者使用了 FFmpeg 来计算 PSNR 和 SSIM(作法可参考这篇文章),也用 FFmpeg 来截取视频中的影格画面,并使用 ImageDifferencer 1.0.1 来比较图像在压缩前与压缩后的差异(可参考这篇文章)。
片源的影格截取
以下是从片源的第 16 秒所取得的影格画面:
使用的 FFmpeg 指令如下:
CRF (Constant Rate Factor)和 qscale
CRF 是 x264、x265、libvpx、libaom 用来控制视频画质的参数,数值愈低画质愈高(比特率相对愈高),x264 和 x265 的 CRF 范围都是 0~51;libvpx 和 libaom 的 CRF 范围是 0~63(VP8 最低只能设到 4)。Xvid 并没有 CRF,但它有类似的 qscale 可以用,范围是 1~31,数值愈低画质愈高。
若要使用 CRF 来控制 x264 和 x265 的编码画质,FFmpeg 指令写法如下:
其中,「-preset veryslow」参数可以尽可能地在保有相同的画质下,减少比特率。(如果要让比特率与画质拥有极致的比例,可以使用「-preset placebo」,不过编码速度会很慢!)
若要使用 CRF 来控制 libvpx(VP8、VP9)的编码画质,FFmpeg 指令写法如下:
其中,「-speed 0」的功用类似 x264 和 x265 的「-preset veryslow」。
若要使用 CRF 来控制 libaom 的编码画质,FFmpeg 指令写法如下:
其中,「-strict -2」是用来允许使用 FFmpeg 实验性的功能(因为 AV1 还是 FFmpeg 4.1.1 的实验性功能)。
若要使用 qscale 来控制 Xvid 的编码画质,FFmpeg 指令写法如下:
开始比较
底下将会以 H.264(x264) 作为基准,针对其三种不同的 CRF 参数的画质等级(视觉无损、标准画质和笔者可接受的最低画质)来将片源进行有损压缩,并且计算出这三种 CRF 参数压缩后的结果与片源的 SSIM 指针,这三个 SSIM 指针会被当作是这三种画质等级「视觉无损」、「标准画质」和「笔者可接受的最低画质」的 SSIM 参考值。接着再以其它视频编码格式使用不同的 CRF 或 qscale 参数来将片源进行有损压缩,同样拿它们计算出与片源的 SSIM 指针,然后找出落在刚才提到的三种画质等级的 SSIM 参考值的有哪些。最后再来比较这些 SSIM 指针相近的视频,其比特率的高低。
CRF 18
根据 FFmpeg 的文档,当 x264 的 CRF 参数设为 18 时,可以得到「视觉无损」(visually lossless)的画质,也就是虽然不是真的无损,但人类肉眼看起来的结果是跟片源一模一样的。在实际使用 18 作为 CRF 参数值来进行转档后,可以得到比特率为 4303Kbps 的视频。此时的视频与片源的 PSNR 为 47.847180,SSIM 为 0.992476。
影格截取如下:
与原始影格的差异如下:
从上图可以看出 x264 在压缩图像的时候会先从丢失边缘的细节开始。
再来就是找出能让 x265、VP8、VP9、AV1、MPEG-4 转出 SSIM 接近 0.992476 的 CRF 或是 qscale 参数了。
当 x265 的 CRF 参数设为 20 时,可以得到比特率为 3066Kbps 的视频。此时的视频与片源的 PSNR 为 47.982695,SSIM 为 0.992113。
影格截取如下:
与原始影格的差异如下:
从上图可以看出 x265 在压缩图像的时候也会先从丢失边缘的细节开始。
当 VP8 的 CRF 参数设为 4 时,可以得到比特率为 12670Kbps 的视频。此时的视频与片源的 PSNR 为 46.312157,SSIM 为 0.990618。(无法达到我们视觉无损的标准)
影格截取如下:
与原始影格的差异如下:
从上图可以猜测出 VP8 在压缩图像的时候会蛮均匀地改变整张图像的亮度和色彩,也因此会保留比较多的细节。
当 VP9 的 CRF 参数设为 15 时,可以得到比特率为 6086Kbps 的视频。此时的视频与片源的 PSNR 为 48.658626,SSIM 为 0.992856。
影格截取如下:
与原始影格的差异如下:
从上图可以猜测出 VP9 在压缩图像的时候会比 VP8 还更均匀地改变整张图像的亮度和色彩,以保留更多的细节。
当 AV1 的 CRF 参数设为 20 时,可以得到比特率为 3331Kbps 的视频。此时的视频与片源的 PSNR 为 48.304780,SSIM 为 0.992418。
影格截取如下:
与原始影格的差异如下:
从上图可以猜测出 AV1 在压缩图像的时候,采取的策略类似 VP8。
当 MPEG-4 的 qscale 参数设为 2 时,可以得到比特率为 13539Kbps 的视频。此时的视频与片源的 PSNR 为 47.151285,SSIM 为 0.990024。(把 qscale 参数设为 1 的话,可以获得超过视觉无损的画质,但是比特率会变非常高)
影格截取如下:
与原始影格的差异如下:
从上图可以猜测出 MPEG-4 在压缩图像的时候,会先从丢失边缘的细节开始,但它也会稍微均匀地改变整张图像的亮度和色彩,使得细节不被丢失得那么严重。
CRF 23
x264 的预设 CRF 值为 23,所以是标准画质。在实际使用 23 作为 CRF 参数值来进行转档后,可以得到比特率为 2341Kbps 的视频。此时的视频与片源的 PSNR 为 44.985929,SSIM 为 0.987396。
再来就是找出能让 x265、VP8、VP9、AV1、MPEG-4 转出 SSIM 接近 0.987396 的 CRF 或是 qscale 参数了。
当 x265 的 CRF 参数设为 24 时,可以得到比特率为 1883Kbps 的视频。此时的视频与片源的 PSNR 为 45.745517,SSIM 为 0.988000。
当 VP8 的 CRF 参数设为 12 时,可以得到比特率为 6500Kbps 的视频。此时的视频与片源的 PSNR 为 45.044315,SSIM 为 0.987444。
当 VP9 的 CRF 参数设为 27 时,可以得到比特率为 3122Kbps 的视频。此时的视频与片源的 PSNR 为 45.615088,SSIM 为 0.987342。
当 AV1 的 CRF 参数设为 30 时,可以得到比特率为 1837Kbps 的视频。此时的视频与片源的 PSNR 为 45.546846,SSIM 为 0.987268。
当 MPEG-4 的 qscale 参数设为 3 时,可以得到比特率为 9399Kbps 的视频。此时的视频与片源的 PSNR 为 44.750343,SSIM 为 0.984686。所以还是 qscale 参数设为 2 时的 SSIM 会比较接近 0.987396。
CRF 30
x264 的 CRF 值若高于 30,转出来的画质实在是伤眼睛,可以明显看到图像出现色块,所以笔者觉得 30 是可接受的最低画质。在实际使用 30 作为 CRF 参数值来进行转档后,可以得到比特率为 1046Kbps 的视频。此时的视频与片源的 PSNR 为 40.739121,SSIM 为 0.972788。
影格截取如下:
与原始影格的差异如下:
与视觉无损的影格差异如下:
从上图可以看出 x264 在更低的比特率时主要会丢失更多边缘的细节。
当 x265 的 CRF 参数设为 31 时,可以得到比特率为 812Kbps 的视频。此时的视频与片源的 PSNR 为 41.536069,SSIM 为 0.973679。
影格截取如下:
与原始影格的差异如下:
与视觉无损的影格差异如下:
当 VP8 的 CRF 参数设为 37 时,可以得到比特率为 2977Kbps 的视频。此时的视频与片源的 PSNR 为 41.127550,SSIM 为 0.971314。
影格截取如下:
与原始影格的差异如下:
与 CRF 为 4 时的影格差异如下:
当 VP9 的 CRF 参数设为 39 时,可以得到比特率为 1400Kbps 的视频。此时的视频与片源的 PSNR 为 41.536900,SSIM 为 0.972837。
影格截取如下:
与原始影格的差异如下:
与视觉无损的影格差异如下:
从上图可以看出 VP9 在低比特率的时候并不太会偏重丢失哪方面的细节。
当 AV1 的 CRF 参数设为 41 时,可以得到比特率为 840Kbps 的视频。此时的视频与片源的 PSNR 为 41.613474,SSIM 为 0.973708。
影格截取如下:
与原始影格的差异如下:
与视觉无损的影格差异如下:
当 MPEG-4 的 qscale 参数设为 5 时,可以得到比特率为 5752Kbps 的视频。此时的视频与片源的 PSNR 为 41.684421,SSIM 为 0.972059。
影格截取如下:
与原始影格的差异如下:
与 qscale 为 2 时的影格差异如下:
结论
在画质等级为「视觉无损」时,如果 x264 的比特率是 100%,则 x265 是 71.25%,VP8 是 294.45% 以上,VP9 是 141.44%,AV1 是 77.41%,MPEG-4 是 314.64% 以上。因此在高清的情况下,使用 x265、AV1 都是不错的选择。
在画质等级为「标准画质」时,如果 x264 的比特率是 100%,则 x265 是 80.44%,VP8 是 277.66%,VP9 是 133.36%,AV1 是 78.47%,MPEG-4 约是 578.34% 以下。因此在标准画质的情况下,依然还是使用 x265、AV1 才是不错的选择。
在画质等级为「笔者可接受的最低画质」时,如果 x264 的比特率是 100%,则 x265 是 77.63%,VP8 是 284.61%,VP9 是 133.84%,AV1 是 80.31%,MPEG-4 是 549.90%。因此在低画质的情况下,仍然还是使用 x265、AV1 才是不错的选择。
FFmpeg 指令方面,x264 可接受的 CRF 范围是 18~30,x265 可接受的 CRF 范围是 20~31,VP8 可接受的 CRF 范围是 4~37,VP9 可接受的 CRF 范围是 15~39,AV1 可接受的 CRF 范围是 20~41,MPEG-4(xvid) 可接受的 qscale 范围是 2~5。































