FFmpeg 全名是 Fast Forward MPEG (Moving Picture Experts Group),为开源的影音多媒体处理框架,可以进行影音的解码、编码、编码转换、混合、抽取、串流和滤镜,无论影音格式是从哪个地方出来的,从过去到现在的影音格式它几乎都能够支持。作为专业处理影音的 FFmpeg,当然也可以将声音转成图像,做出具有艺术视觉效果的音乐。

不过,FFmpeg 对于声音可视化这方面的功能并不强。以下会介绍几个笔者觉得还算堪用的相关滤镜。

avectorscope

适用于双声道音乐,会计算不同声道信号的差(difference)来做可视化。如果输入的是单声道的声音,则不能正常变化。

指令写法如下:

ffmpeg -i 输入的声音文件路径 -filter_complex "[0:a]avectorscope=m=lissajous:s=1080x1080:r=60:rc=40:gc=160:bc=80:ac=255:rf=15:gf=10:bf=5:af=5:zoom=1:draw=line:scale=log,format=yuv420p,pad=1920:1080:(ow-iw)/2:(oh-ih)/2[outv]" -map "[outv]" -map 0:a 输出的视频路径

视觉效果演示:

avectorscope 滤镜有以下几个比较重要的参数:

  • m:设置图形的样式。
    • lissajous:聚集在中央,向四周散开。如上面的演示就是使用这个样式。
    • polar:聚集在底部,向四周散开。
  • s:设置图形的尺寸。如果 m=lissajous,尺寸用正方形会比较好,大小可设为视频分辨率大小的最小边,并搭配 pad 滤镜来置中。如果 m=polar,尺寸可设得跟视频分辨率大小一样。
  • r:设置视频的帧数。建议设为 60 以上,看起来才滑顺~
  • rc、gc、bc、ac:设置图形的颜色,分别是红、绿、蓝、透明度的值。数值范围是整数 0~255。
  • rf、gf、bf、af:设置图形淡出的颜色,分别是红、绿、蓝、透明度的值。数值范围是整数 0~255。
  • zoom:图形的缩放。数值愈大放得愈大(小于 1 时会自动调整成最大),数值范围是浮点数 0~10。
  • draw:图形组成方式。line 是用线组成;dot 是用点组成,不是很好看。
  • scale:设为 log,图形会比较有明显变化。

m=polar 的指令写法:

ffmpeg -i 输入的声音文件路径 -filter_complex "[0:a]avectorscope=m=polar:s=1920x1080:r=60:rc=40:gc=160:bc=80:ac=255:rf=15:gf=10:bf=5:af=5:zoom=1:draw=line:scale=log,format=yuv420p[outv]" -map "[outv]" -map 0:a 输出的视频路径

m=polar 的视觉效果演示:

如果要加上背景图,以 m=lissajous 为例,指令写法如下:

ffmpeg -i 输入的声音文件路径 -loop 1 -r 60 -i 输入的图片文件路径 -filter_complex "[0:a]avectorscope=m=lissajous:s=1080x1080:r=60:rc=40:gc=160:bc=80:ac=255:rf=15:gf=10:bf=5:af=5:zoom=1:draw=line:scale=log[fg];[1:v][fg]overlay=(W-w)/2:(H-h)/2[outv]" -map "[outv]" -map 0:a -shortest 输出的视频路径

以上指令,利用 overlay 滤镜将可视化图形叠在输入的图片上,并顺便置中。

m=lissajous 叠上背景图的视觉效果演示:

showwaves

适用於单声道或多声道音乐,即一般常见的声音波形图。

指令写法如下:

ffmpeg -i 输入的声音文件路径 -filter_complex "[0:a]pan=mono|c0=.5*c0+.5*c1,showwaves=s=1920x1080:mode=cline:r=60:colors=#FF0000:scale=log:draw=scale,format=yuv420p[outv]" -map "[outv]" -map 0:a 输出的视频路径

以上指令之所以用 pan 声音滤镜来永远将输入的双声道声音转成单声道,是因为 showwaves 滤镜在处理多声道的时候会用不同的颜色把多声道的波形叠在一起,不太好看。

视觉效果演示:

showwaves 滤镜有以下几个比较重要的参数:

  • s:设置波形显示的尺寸。
  • mode:建议设为 cline,其它的看起来很诡异。
  • r:设置视频的帧数。建议设为 60 以上,看起来才滑顺~
  • colors:波形的颜色。
  • scale:设为 log,图形会比较有明显变化。
  • draw:scale 可以让波形无论在大或小音量的时候看起来都活跃;full 则是会完全依照声音的音量来绘制波形。

事实上,showwaves 滤镜是可以将多个声道分开绘制的,但笔者觉得这个不是我们平常在一边听音乐一边看可视化的效果时会想看到的。就不介绍这个功能了。

如果要加上背景图,指令写法如下:

ffmpeg -i 输入的声音文件路径 -loop 1 -r 60 -i 输入的图片文件路径 -filter_complex "[0:a]pan=mono|c0=.5*c0+.5*c1,showwaves=s=1920x300:mode=cline:r=60:colors=#FF0000:scale=log:draw=scale[fg];[1:v][fg]overlay=(W-w)/2:H-h[outv]" -map "[outv]" -map 0:a -shortest 输出的视频路径

以上指令,showwaves 滤镜所产生出来的图形尺寸比视频的分辨率(即输入的图片尺寸)还要小,利用 overlay 滤镜将可视化图形叠在输入的图片上,并顺便置中、置底。

叠上背景图的视觉效果演示:

showfreqs

适用於单声道或多声道音乐,即一般常见的声音频谱图(非时频图)。

指令写法如下:

ffmpeg -i 输入的声音文件路径 -filter_complex "[0:a]pan=mono|c0=.5*c0+.5*c1,showfreqs=r=60:s=1920x1080:mode=bar:colors=#0000FF:ascale=log:fscale=lin:win_size=64,format=yuv420p[outv]" -map "[outv]" -map 0:a 输出的视频路径

以上指令之所以用 pan 声音滤镜来永远将输入的双声道声音转成单声道,也是因为 showfreqs 滤镜在处理多声道的时候会用多个颜色把多声道的波形叠在一起,不太好看。

视觉效果演示:

showfreqs 滤镜有以下几个比较重要的参数:

  • r:设置视频的帧数。建议设为 60 以上,看起来才滑顺~
  • s:设置频谱显示的尺寸。
  • mode:建议设为 bar,其它的看起来很诡异。
  • colors:频谱的颜色。
  • ascale:设为 log,图形会比较有明显变化。
  • fscale:设为 lin,会比较符合看频谱的习惯。
  • win_size:频谱要切多细,数值愈高愈细。数值范围是整数 16~65536。上面的演示是使用 win_size=64。

win_size=2048 的视觉效果演示: