在程序运行的时候,经常会需要输出某些文字消息来告诉系统管理员程序运行的状况。这些消息可能会直接输出到屏幕上,或是写进文件中方便日后查阅或是处理。然而,保存在文件系统中的每则文字消息虽然可能只是短短的几行字,但累积久了也是会占用不少硬盘空间,如果没有定期整理的话,可能哪天系统的可用空间就被历史纪录塞满,而导致当机。为了避免程序输出的消息塞满硬盘空间,可以使用 Pipe Logger 来限制消息被保存下来的量,并且自动将旧的消息进行压缩封存的动作。
一般程序会将消息输出到标准输出(stdout)中。举例来说,在终端机使用 ping 指令时,会将每次 ICMP 封包的传输结果给输出到标准输出中,所以可以直接在屏幕上看到。
如果我们想要将结果保存下来,可以使用终端机的「管线」(pipeline)功能,将结果导出到文件系统或是其它设备。
如上图,将 ping 指令的输出结果导出到 ping.log 文件中。所以我们之后可以打开 ping.log 文件来查看结果。
这样的作法虽然可以成功将程序输出的消息保存下来,却没有办法限制消息的保存量。
Pipe Logger
「Pipe Logger」是笔者用 Rust 编程语言开发,用来导出 Log 档的开源小工具。Pipe Logger 可以限制 Log 消息的保存量,也可以自动对保存下来的 Log 档进行轮替(rotate)和压缩封存的动作。
安装 Pipe Logger
如果系统环境中有安装「Cargo」的话,可以直接使用以下指令来下载「Pipe Logger」的源代码项目,并进行编译安装。
如果是使用 Linux 操作系统的话,可以直接到以下页面取得「Pipe Logger」的可执行文件,手动放置到 /usr/local/bin 目录中即可。网址如下:
使用 Pipe Logger
Pipe Logger 的运作原理是将其标准输入(stdin)中的内容保存成文件。也就是说,我们需要把要处理 Log 档的程序的输出当作是 Pipe Logger 的输入,也是一样使用终端机的「管线」功能就可以达成。
例如以下指令,可以将 ping magiclen.org 指令的输出结果当作 Pipe Logger 的输入,Pipe Logger 则会再将结果导出到 ping.log 文件中。与此同时,ping 指令的输出结果也会实时地输出到屏幕上,有点像是 tee 指令的功能。
如果要限制输出的 Log 档最大的大小,可以加上 -r 选项。当目前写入的 Log 档超过 -r 选项所指定的大小时,Pipe Logger 就会更改目前写入的 Log 档文件名,然后再用旧的文件名产生新的 Log 文件,以供后续的写入。这样的过程就称为「Log 轮替」(Log Rotation)。例如以下指令,可以将 Log 保存成多个文件,文件会在超过 10MB 的时候进行「轮替」。
如果要更进一步的限制 Log 档加上轮替后 Log 档的数量,可以加上 -c 选项。例如以下指令,可以限制 Log 档的数量总共最多只能有 4 个。
如果要将轮替后的 Log 档进行 XZ 压缩封存,可以再加上 --compress 选项。例如:
当然,有些程序不是只会把消息输出到标准输出中,它们也有去使用标准错误(stderr)。这样的程序一样可以使用终端机的「管线」功能,分别将标准输出和标准错误的数据导给不同的 Pipe Logger 来处理。例如:
从标准错误中接收消息的 Pipe Logger,可以加上 --err 选项,使其再将消息输出到标准错误中,而不是输出到标准输出。




