MongoDB 是文档导向的数据库,适合用来保存无需复杂查找的大量数据,也可以用来保存文件。未超过 16777216 字节(约 16MB)的 BSON 文档能直接存在一般的集合(collection)之中,如果将文件放进 BSON 文档中且没有超过大小限制的话,则文件可以直接存进一般的集合;如果文档会超过 16777216 字节,也可以使用 MongoDB 提供的 GridFS 功能,自动将文件切割成多个组块(chunk)来保存,一个组块预设的大小为 255KiB。然而,MongoDB 本身并没有判断存入数据库的文件是否有重复的功能,也无法根据要存入的文件大小来自动选择是要存到集合里,还是要存到 GridFS 中。

为了一劳永逸地解决这个问题,就必须要设计一套框架,来统一管理 MongoDB 内的文件。

Mongo File Center (File Center on MongoDB)

「Mongo File Center」是笔者开发的套件,旨在创建一个易于使用且不会有冗余的 MongoDB 文件保存空间。

Crates.io

Cargo.toml

mongo-file-center = "*"

使用方法

一个 MongoDB 的数据库可以拥有一个文件中心。一开始要先以 MongoDB 的主机名称、连接端口和数据库名称,调用 FileCenter 结构体的 new 关联函数,来产生出新的 FileCenter 结构实体。此时顺利的话,文件中心就创建出来了。

要存放文件进文件中心中,可以使用 FileCenter 结构实体以 put_file_by_ 为前缀名称的方法,这类方法可以将文件或是内存中的数据放进文件中心,其中,以 _temporarily 作为名称后缀的方法只会将文件保存最多一分钟,在这期间若这文件有被取用,就会在取用之后被删除;而不以 _temporarily 作为名称后缀的方法,文件在文件中心内会永久被保存下来,同样的文件内容在同一数据库中不会重复被保存(会用 SHA-256 来计算 checksum,判断文件内容是否相同)。不管是暂时性的还是永久性的,put_file_by_ 为前缀名称的方法在文件保存成功时,都会回传文件在文件中心的 Object ID。

FileCenter 结构实体的 get_file_item_by_id 方法可以传入一个文件在文件中心的 Object ID,来取得用来表示位于文件中心内的文件的 FileItem 结构实体,FileItem 结构实体的 get_file_id 方法则可以取得文件的 Object ID。FileCenter 结构实体的 delete_file_item_by_id 方法可以传入一个文件在文件中心的 Object ID,来将其删除。此外,FileCenter 结构实体还可以使用 encrypt_id 和 decrypt_id_token 方法来加密或是解密 Object ID,加密后 Object ID 才可以使其安全地被分享出去。

FileItem 结构实体的 into_file_data 方法可以用来取得文件的内容,文章前面有提到,MongoDB 的文件可以存在集合或是 GridFS 中。因此 into_file_data 方法所回传的 FileData 结构实体就会有 FileData::Buffer 和 FileData::Stream 这两种变体。

以下是一个标准的使用范例:

use mongo_file_center::{FileCenter, FileData, mime};

const mongodb_uri: &str = "mongodb://localhost:27017/test_my_file_storage";

let file_center = FileCenter::new(mongodb_uri).await.unwrap();

let file_id = file_center.put_file_by_path("/path/to/file", Some("file_name"), Some(mime::IMAGE_JPEG)).await.unwrap();

let id_token = file_center.encrypt_id(file_id); // this token is safe in public

let file_id = file_center.decrypt_id_token(id_token).unwrap();

let r_file = file_center.get_file_item_by_id(file_id).await.unwrap().unwrap();

match r_file.into_file_data() {
    FileData::Buffer(data) => {
        // do something
    }
    FileData::Stream(stream) => {
        // do something
    }
}

预设情况下,文件若大于 256KiB,就会使用多个 Document 来保存一个文件,否则的话就会直接存在一个 Document 内。如果要更改这项设置,可以在创建文件中心后使用 FileCenter 结构实体的 set_file_size_threshold 方法来更改,或是在尚未创建文件中心前,使用 FileCenter 结构体的 new_with_file_size_threshold 关联函数来创建文件中心。

如果要删除整个文件中心,可以使用 FileCenter 结构实体 drop_file_center 方法。