MongoDB 是文档导向的数据库,适合用来保存无需复杂查找的大量数据,也可以用来保存文件。未超过 16777216 字节(约 16MB)的 BSON 文档能直接存在一般的集合(collection)之中,如果将文件放进 BSON 文档中且没有超过大小限制的话,则文件可以直接存进一般的集合;如果文档会超过 16777216 字节,也可以使用 MongoDB 提供的 GridFS 功能,自动将文件切割成多个组块(chunk)来保存,一个组块预设的大小为 255KiB。然而,MongoDB 本身并没有判断存入数据库的文件是否有重复的功能,也无法根据要存入的文件大小来自动选择是要存到集合里,还是要存到 GridFS 中。
为了一劳永逸地解决这个问题,就必须要设计一套框架,来统一管理 MongoDB 内的文件。
Mongo File Center (File Center on MongoDB)
「Mongo File Center」是笔者开发的套件,旨在创建一个易于使用且不会有冗余的 MongoDB 文件保存空间。
Crates.io
Cargo.toml
使用方法
一个 MongoDB 的数据库可以拥有一个文件中心。一开始要先以 MongoDB 的主机名称、连接端口和数据库名称,调用 FileCenter 结构体的 new 关联函数,来产生出新的 FileCenter 结构实体。此时顺利的话,文件中心就创建出来了。
要存放文件进文件中心中,可以使用 FileCenter 结构实体以 put_file_by_ 为前缀名称的方法,这类方法可以将文件或是内存中的数据放进文件中心,其中,以 _temporarily 作为名称后缀的方法只会将文件保存最多一分钟,在这期间若这文件有被取用,就会在取用之后被删除;而不以 _temporarily 作为名称后缀的方法,文件在文件中心内会永久被保存下来,同样的文件内容在同一数据库中不会重复被保存(会用 SHA-256 来计算 checksum,判断文件内容是否相同)。不管是暂时性的还是永久性的,put_file_by_ 为前缀名称的方法在文件保存成功时,都会回传文件在文件中心的 Object ID。
FileCenter 结构实体的 get_file_item_by_id 方法可以传入一个文件在文件中心的 Object ID,来取得用来表示位于文件中心内的文件的 FileItem 结构实体,FileItem 结构实体的 get_file_id 方法则可以取得文件的 Object ID。FileCenter 结构实体的 delete_file_item_by_id 方法可以传入一个文件在文件中心的 Object ID,来将其删除。此外,FileCenter 结构实体还可以使用 encrypt_id 和 decrypt_id_token 方法来加密或是解密 Object ID,加密后 Object ID 才可以使其安全地被分享出去。
FileItem 结构实体的 into_file_data 方法可以用来取得文件的内容,文章前面有提到,MongoDB 的文件可以存在集合或是 GridFS 中。因此 into_file_data 方法所回传的 FileData 结构实体就会有 FileData::Buffer 和 FileData::Stream 这两种变体。
以下是一个标准的使用范例:
use mongo_file_center::{FileCenter, FileData, mime};
const mongodb_uri: &str = "mongodb://localhost:27017/test_my_file_storage";
let file_center = FileCenter::new(mongodb_uri).await.unwrap();
let file_id = file_center.put_file_by_path("/path/to/file", Some("file_name"), Some(mime::IMAGE_JPEG)).await.unwrap();
let id_token = file_center.encrypt_id(file_id); // this token is safe in public
let file_id = file_center.decrypt_id_token(id_token).unwrap();
let r_file = file_center.get_file_item_by_id(file_id).await.unwrap().unwrap();
match r_file.into_file_data() {
FileData::Buffer(data) => {
// do something
}
FileData::Stream(stream) => {
// do something
}
}
预设情况下,文件若大于 256KiB,就会使用多个 Document 来保存一个文件,否则的话就会直接存在一个 Document 内。如果要更改这项设置,可以在创建文件中心后使用 FileCenter 结构实体的 set_file_size_threshold 方法来更改,或是在尚未创建文件中心前,使用 FileCenter 结构体的 new_with_file_size_threshold 关联函数来创建文件中心。
如果要删除整个文件中心,可以使用 FileCenter 结构实体 drop_file_center 方法。
