mongodump 是 MongoDB 官方提供的指令工具,用来输出 MongoDB 内保存的数据;mongorestore 也是 MongoDB 官方提供的指令工具,用来将 mongodump 所输出的数据,输入回 MongoDB 内。将 mongodump 和 mongorestore 搭配使用就可以备份与还原 MongoDB。

安装 mongodump 和 mongorestore

可以参考官方文档来安装 mongodump 和 mongorestore,链接如下:

备份 MongoDB

以下的 mongodump 指令,可以将整个 MongoDB 备份为一个压缩过后的文件:

mongodump [--gzip] --archive=$(date +%F_%T).archive[.gz] [MONGODB_URI]

mongodump 指令的 --archive 参数可以使备份出来的文件变成单一文件,会比较方便保存,如果不设置文件路径的话,就会从标准输出(stdout)来输出备份;--gzip 参数可以用 Gzip 来压缩数据库输出后的数据,节省硬盘空间,不过笔者会比较建议使用 --archive 参数搭配管线(pipe)的方式将输出导给 zstd 指令或是 rar 指令来做压缩,稍候会说明要怎么跟它们一起用。mongodump 指令使用 --archive 所产生出来的文件经常会以 .archive 作为其扩展名,如果又用了 --gzip 参数,就将它的扩展名设置为 .archive.gz。至于 $(date +%F_%T) Bash Shell 的语法,可以取得当下的本地时间,例如:2022-07-05_18:00:00。

MONGODB_URI 是可选的,默认值等同于 mongodb://127.0.0.1:27017。如果您的 MongoDB 有设置用户验证机制,或者不是在 127.0.0.1:27017 的话,就要自行设置 MONGODB_URI。

如果只要备份单一个数据库,可以替 mongodump 指令加上 -d 参数,来指定数据库的名称。

激活 Oplog

使用 mongodump 指令跑备份进程的时候,如果此时 MongoDB 的内容也正在被改变,那备份档可能会有数据不一致的问题。如果您的 MongoDB 是运行在「standalone」模式下,强烈建议将其改为「replica set」以激活 oplog (operations log) 功能,来让 mongorestore 在进行还原的时候能够去参考 oplog,解决数据不一致的问题。

打开 MongoDB 的设置档 /etc/mongod.conf,将 replication 字段的内容进行如下的修改:

replication:
  replSetName: rs0

借由随便指定一个 replica set 的名称,可以让 MongoDB 运行在 replica set 模式,即使只有一个节点也可以(即所谓的「single-node replica set」)。

在 mongod.conf 设置 replSetName

然后运行以下指令重启 MongoDB:

sudo systemctl restart mongod

以 systemctl restart 重启 MongoDB

第一次使用 replica set,要进入 mongo Shell,并运行以下指令来进行初始化:

rs.initiate()

在 mongo Shell 运行 rs.initiate()

之后在使用 mongodump 指令时,就可以加上 --oplog 参数,在备份档里加入备份时的 oplog。

以 mongodump 加上 --oplog 备份

使用 Zstd 来压缩备份档

在 Bash Shell 中可以使用管线将 mongodump 指令的输出导给 zstd 指令的输入,使得输出的备份能够被 Zstd 压缩。指令用法如下:

mongodump [--oplog] --archive [MONGODB_URI] | zstd > $(date +%F_%T).archive.zst

基于 Debian 的 Linux 发行版可以使用以下指令来安装 Zstd:

sudo apt install zstd
使用 RAR 来压缩备份档

在 Bash Shell 中可以使用管线将 mongodump 指令的输出导给 rar 指令的输入,使得输出的备份能够被 RAR 压缩,也能够制作修复 RAR 压缩档的还原记录,降低硬盘出问题而使得备份档损坏的概率。指令用法如下:

mongodump [--oplog] --archive [MONGODB_URI] | rar a [-m5] -si -rr1 $(date +%F_%T).archive.rar

rar 指令的 -m5 参数可以让 RAR 使用最大压缩,压缩时长并不会像 Zstd 这样显著增长,推荐使用。-si 参数可以让 RAR 从标准输入(stdin)读取数据,也可以接上一个路径来设置这份数据在 RAR 内要存放在哪,但没有必要。-rr1 参数可以设置 1% 的复原记录,如果想要安全一点也可以设为更高的数值。

RAR 的安装方法可以参考这篇文章:

自动化备份脚本

搭配 SSH Tunnel,我们可以在任意一台能够 SSH 登录进 MongoDB 所在的主机的电脑上进行自动化备份。如果您不熟悉 SSH Tunnel 的话可以先参考这篇文章:

以下是笔者撰写的 Bash 脚本:

#!/bin/bash

set -o pipefail

SSH_SERVER=${SSH_SERVER:-"magiclen@192.168.56.101"}

BACKUP_NAME=${BACKUP_NAME:-"mongodb-backup"}
BACKUP_NAME="$(basename "${BACKUP_NAME}")"

DB_NAME=${DB_NAME:-""}
USE_OPLOG=${USE_OPLOG:-"0"}

BASIC_BACKUP_DIRECTORY=${BASIC_BACKUP_DIRECTORY:-"/var/backups/magic"}
BASIC_BACKUP_DIRECTORY="$(realpath -m "${BASIC_BACKUP_DIRECTORY}")"
BACKUP_DIRECTORY=${BACKUP_DIRECTORY:-"${BASIC_BACKUP_DIRECTORY}/${BACKUP_NAME}"}
BACKUP_DIRECTORY="$(realpath -m "${BACKUP_DIRECTORY}")"

SSH_SOCKET_PATH=${SSH_SOCKET_PATH:-"/tmp/ssh-tunnel-${BACKUP_NAME}"}
SSH_SOCKET_PATH="$(realpath -m "${SSH_SOCKET_PATH}")"

OLD_BACKUP_AGE=${OLD_BACKUP_AGE:-"15"} # days
if [[ ! "${OLD_BACKUP_AGE}" =~ ^[0-9]+$ ]]; then
    echo "OLD_BACKUP_AGE should be a positive integer." >&2
    exit 1
fi

CLIENT_SERVICE_IP=${CLIENT_SERVICE_IP:-"127.0.0.1"}
CLIENT_SERVICE_PORT=${CLIENT_SERVICE_PORT:-"27017"}

SERVER_SERVICE_IP=${SERVER_SERVICE_IP:-"127.0.0.1"}
SERVER_SERVICE_PORT=${SERVER_SERVICE_PORT:-"27017"}

if ss -tan | tr -s ' ' | cut -d " " -f 4 | grep -m1 "${CLIENT_SERVICE_IP}":"${CLIENT_SERVICE_PORT}" > /dev/null ; then
    echo "${CLIENT_SERVICE_IP}:${CLIENT_SERVICE_PORT} is used." >&2
    exit 2
fi

(rm -f "${SSH_SOCKET_PATH}" && ssh -fNM -S "${SSH_SOCKET_PATH}" -L "${CLIENT_SERVICE_IP}:${CLIENT_SERVICE_PORT}:${SERVER_SERVICE_IP}:${SERVER_SERVICE_PORT}" "${SSH_SERVER}") || { echo "Unable to create the SSH tunnel!" >&2; exit 3; }

if [ ! -d "${BACKUP_DIRECTORY}" ]; then
    if [ -e "${BACKUP_DIRECTORY}" ]; then
        echo "${BACKUP_DIRECTORY} exists and it is not a directory!" >&2
        exit 4
    fi
    
    mkdir -p "${BACKUP_DIRECTORY}" || exit 5
    
    echo "The directory, ${BACKUP_DIRECTORY} has been created."
fi

DB_PARAM=

if [ -n "${DB_NAME}" ]; then
    if [[ "${USE_OPLOG}" != "0" ]]; then
        echo "Oplog can not be used with a specific database name."
        exit 6
    fi
    
    DB_PARAM="-d ${DB_NAME}"
fi

OPLOG_PARAM=
OPLOG_FILENAME=

if [[ "${USE_OPLOG}" != "0" ]]; then
    OPLOG_PARAM="--oplog"
    OPLOG_FILENAME="-oplog"
fi

FILE_NAME="$(date +%F_%T)${OPLOG_FILENAME}.archive.zst"

if mongodump ${OPLOG_PARAM} ${DB_PARAM} --archive --host="${CLIENT_SERVICE_IP}" --port="${CLIENT_SERVICE_PORT}" | zstd > "${BACKUP_DIRECTORY}/${FILE_NAME}"; then
    echo "Backup successfully!"
    echo "-----Delete the following old backup files-----"
    find "${BACKUP_DIRECTORY}" -name "*.archive.*" -mtime "+${OLD_BACKUP_AGE}" -type f -delete -print
    echo "----------"
fi

ssh -S "${SSH_SOCKET_PATH}" -O exit "${SSH_SERVER}"

上面的脚本可以透过设置环境变量而适应不同的需求,列表如下:

  1. SSH_SERVER:MongoDB 所在的 SSH 服务器,或是其它可以连接得到 MongoDB 的 SSH 服务器。您应该要自行改掉脚本内的默认值。
  2. BACKUP_NAME:此备份的识别名称,用来分类备份档。默认值是 mongodb-backup。每个备份应使用不同的名称。
  3. DB_NAME:要备份的数据库名称。如果不设置的话就是全部的数据库。
  4. USE_OPLOG:是否备份 oplog。不设置或是设置为 0 表示不使用,其余的值表示要使用。若要备份 oplog 就不能够设置 DB_NAME。
  5. BASIC_BACKUP_DIRECTORY:备份档存放的基础目录。预设是放在 /var/backups/magic,如果运行这个脚本的用户不是 root 的话,则可能会没有权限创建出这个目录,此时可以先手动建好这个目录,并将拥有者和群组改为要运行这个脚本的用户和群组。
  6. BACKUP_DIRECTORY:此备份要存放备份档的目录。预设是放在 ${BASIC_BACKUP_DIRECTORY}/${BACKUP_NAME}。不太需要去设置这个。
  7. SSH_SOCKET_PATH:SSH control master socket 文件的位置。预设的路径放在 /tmp/ssh-tunnel-${BACKUP_NAME}。不太需要去设置这个。
  8. OLD_BACKUP_AGE:设置备份成功后要删除几天之前的备份档。预设是 15。
  9. CLIENT_SERVICE_IP:设置 SSH Tunnel 的客户端 IP。预设是 127.0.0.1。不太需要去设置这个。
  10. CLIENT_SERVICE_PORT:设置 SSH Tunnel 的客户端连接端口。预设是 27017。建议替每个备份设置不同的连接端口,避免重叠。
  11. SERVER_SERVICE_IP:设置 SSH Tunnel 的服务器端 IP。预设是 127.0.0.1。
  12. SERVER_SERVICE_PORT:设置 SSH Tunnel 的服务器端连接端口。预设是 27017。

由于脚本会使用 Zstd 做压缩,所以脚本的运行环境要能够使用 zstd 指令才行。如果您想要用其它的压缩方式,就自行修改脚本吧!

因为笔者并没有去设置 MongoDB 的用户验证机制的习惯,所以这个脚本就没有考虑到这部份。如果您有设置的话,要自行去修改脚本中的 mongodump 指令。看是要加上 MongoDB URI 还是要加上 -u 和 -p 参数。如果您是使用 MongoDB 的 SSL 验证机制,应该就没有必要使用到 SSH Tunnel 了。

此脚本假定运行这个脚本的用户的 SSH 公钥有被加至 SSH 服务器的 authorized_keys 文件中。如果您还没做这样的设置,请参考这篇文章来进行:

笔者习惯将这个脚本放在 Linux 操作系统的 /usr/local/bin 目录,并设置 crontab 让电脑自动去备份。如下图:

以 crontab 设置自动备份

还原 MongoDB

以下的 mongorestore 指令,可以利用 mongodump 指令产生出来的备份档,来还原 MongoDB:

mongorestore [--oplogReplay] [--drop] [--gzip] --archive=/path/to/backup-file [MONGODB_URI]

如果是使用含有 oplog 的备份档,可以加上 --oplogReplay 参数来套用 oplog 记下的数据库操作,以修复不一致的数据。加上 --drop 参数,可以在还原集合之前先删除该集合才还原。--archive 参数若没有设置路径,则会从标准输入读取备份。

以 mongorestore 还原 MongoDB

mongorestore 指令还可以加上一个或多个 --nsInclude 和 --nsExclude 参数来控制要还原的数据库和集合。例如要还原 a 数据库下的所有集合,就使用 --nsInclude "a.*"。

解压缩 Zstd 备份档

在 Bash Shell 中可以使用管线将 zstd 指令的输出导给 mongorestore 指令的输入,使得被 Zstd 压缩的备份能够再被 Zstd 解压缩。指令用法如下:

zstd -d < /path/to/zst-backup-file | mongorestore [--oplogReplay] [--drop] --archive
解压缩 RAR 备份档

在 Bash Shell 中可以使用管线将 rar 指令的输出导给 mongorestore 指令的输入,使得被 RAR 压缩的备份能够再被 RAR 解压缩。指令用法如下:

rar p /path/to/rar-backup-file | mongorestore [--oplogReplay] [--drop] --archive