FFmpeg 全名是 Fast Forward MPEG (Moving Picture Experts Group),为开源的影音多媒体处理框架,可以进行影音的解码、编码、编码转换、混合、抽取、串流和滤镜,无论影音格式是从哪个地方出来的,从过去到现在的影音格式它几乎都能够支持。FFmpeg 也有很不错的可携性和可移植性,可以使用在 Linux, macOS, Microsoft Windows, BSDs, Solaris 等多种不同的操作系统和多种硬件架构上。若想要比对两个视频的画质差异程度,也可以使用 FFmpeg 来达成。

取得 FFmpeg

参考这篇文章来取得 FFmpeg:

PSNR

PSNR (peak signal-to-noise ratio) 即「峰值信噪比」,常用来判断两个图像的差异程度。公式如下:

#{{{
PSNR = 10 \times \log_{10}({ { MAX^2 } \over {MSE} })
}}}#

其中的 #{{ {MAX} }}# 是该分量像素点的最大数值,例如 8-bit 的 yuvj420p,Y、U、V 的最大值都是 255,所以 #{{ {MAX} }}# 都会是 255。如果是 10-bit 的 yuv420p10le,#{{ {MAX} }}# 的值则均为 1023。

而 MSE 为「均方误差」(Mean Square Error),公式如下:

#{{{
MSE = { { \sum_{n=1}^{ImageSize} (I_{n} - P_{n})^2 } \over { ImageSize } }
}}}#

#{{ I_{n} }}# 为第一个图像的第 N 个像素点的分量值,#{{ P_{n} }}# 为第二个图像的第 N 个像素点的分量值。也就是说,如果两个图像的差异愈大,其 #{{ {MSE} }}# 的值就会愈大。

而 MSE 和 PSNR 是呈反比关系,因此 PSNR 愈大,代表两个图像的差异愈小。两个相同的图像,PSNR 的值为无限大。

在比较两个分辨率相同,且影格(Frame)数也相同的视频的画质差异程度时,我们可以将它们的影格依时间顺序拿来做 PSNR 的运算,取得平均的 PSNR 后,即可判断出这两个视频的画质差异如何。PSNR 的平均若在 45dB 以上的话,表示这两个视频的画质可以说是十分接近。42dB 以上是大多数人都接受的范围。

若要用 FFmpeg 来计算两个视频的 PSNR,指令如下:

ffmpeg -i 重制视频的文件路径 -i 原始视频的文件路径 -lavfi "[0:v]setpts=PTS-STARTPTS[v0];[1:v] setpts=PTS-STARTPTS[v1];[v0][v1]psnr" -f null -

以 FFmpeg 计算 PSNR 的结果

SSIM

SSIM (structural similarity) 即「结构相似性」,是针对人类视觉系统所设计的图像差异程度指针。SSIM 的用途和 PSNR 类似,但 SSIM 的算法更复杂,所以在此就不多提了。

SSIM 的值愈大,表示两个图像的相似程度愈高。两个相同的图像,SSIM 的值为 1。

SSIM 的平均若在 0.990 以上的话,表示这两个视频的画质可以说是十分接近。0.980 以上是大多数人都接受的范围。

若要用 FFmpeg 来计算两个视频的 SSIM,指令如下:

ffmpeg -i 重制视频的文件路径 -i 原始视频的文件路径 -lavfi "[0:v]setpts=PTS-STARTPTS[v0];[1:v] setpts=PTS-STARTPTS[v1];[v0][v1]ssim" -f null -

以 FFmpeg 计算 SSIM 的结果

PSNR 和 SSIM

由于 SSIM 是针对人类的视觉系统所设计,因此假设现在我们把某个已经被转成多种不同画质的视频文件的视频,拿来与原始视频文件进行 SSIM 和 PSNR 的计算,并依照 SSIM 的值和 PSNR 的值,将这些视频文件做画质排序,会发现 SSIM 所排序出来的结果,会和人类肉眼感受到的结果较为接近。

若要用 FFmpeg 来同时计算两个视频的 PSNR 和 SSIM,指令如下:

ffmpeg -i 重制视频的文件路径 -i 原始视频的文件路径 -lavfi "[0:v]setpts=PTS-STARTPTS[v0];[1:v] setpts=PTS-STARTPTS[v1];[v0][v1]ssim;[0:v]setpts=PTS-STARTPTS[v0];[1:v] setpts=PTS-STARTPTS[v1];[v0][v1]psnr" -f null -

同时计算 SSIM 与 PSNR 的结果

Application provided invalid, non monotonically increasing dts to muxer 的解决办法

在使用 FFmpeg 来计算两个视频的 PSNR 和 SSIM 时,可能会出现 Application provided invalid, non monotonically increasing dts to muxer 这样的如下图的消息,而导致 PSNR 和 SSIM 的计算结果不准确(会比实际值低很多)。

出现 non monotonically increasing dts 的消息

这通常会发生在两个视频使用不同编码器时,例如一个使用 libx264 来编码,另一个使用 libvpx。解决的办法很简单,就是先让其中一个视频以无损(lossless)的方式先转成另一个格式,再拿这两个用相同编码器编码出来的视频来计算 PSNR 和 SSIM 即可。

libvpx-vp9 可以使用 -lossless 1 参数来做无损编码;libx264 可以使用 -crf 0 参数来做无损编码;libx265 可以使用 -x265-params lossless=1 参数来做无损编码。