Base64 是一种能将任意 Binary 数据用 64 种字符组合成字符串的方法,而这个 Binary 数据和字符串数据彼此之间是可以互相转换的,十分方便。Base64 通常会用在小量数据上,因此可以完全将数据放在主内存中处理。但如果遇到大量数据时该怎么办呢?

Base64 的编码方式,会将 3 个字节的数据编码成 4 个字节,也就是说,如果要一次编码一个 #{{X}}# 大小的数据,那么就会需要使用到 #{{ X + { {4 \over 3}X } = {7 \over 3}X }}# 的内存空间。假设 #{{X}}# 为 30MB,就需要 70MB 的内存空间来进行编码!

因此,用 Base64 编码大量数据时,最好还是将数据切割读取,分段进行编码。当然,Base64 解码也会遇到内存空间的问题,而需要做分段解码。

Base64 Stream

「Base64 Stream」是笔者开发的套件,提供了 ToBase64Reader、ToBase64Writer、FromBase64Reader、FromBase64Writer 这四样工具,分别实作了 Read 和 Write 特性,可以进行全方位的 Base64 编解码。

Crates.io

Cargo.toml

base64-stream = "*"

使用方法

ToBase64Reader

使用 use 关键字来将 base64_stream 这个 crate 底下的 ToBase64Reader 结构体给引用到当前的程序范围下。ToBase64Reader 结构体实作了 Read 特性,可以从原始的数据源中,读取出 Base64 编码后的数据。

use std::io::{Cursor, Read};

use base64_stream::ToBase64Reader;

let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".to_vec();

let mut reader = ToBase64Reader::new(Cursor::new(test_data));

let mut base64 = String::new();

reader.read_to_string(&mut base64).unwrap();

assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", base64);
ToBase64Writer

使用 use 关键字来将 base64_stream 这个 crate 底下的 ToBase64Writer 结构体给引用到当前的程序范围下。ToBase64Writer 结构体实作了 Write 特性,可以输入原始的数据,并输出 Base64 编码后的数据。

use std::fs::{self, File};
use std::io::Write;
use std::path::Path;

use base64_stream::ToBase64Writer;

const DATA_FOLDER: &str = "data";
const ENCODE_OUTPUT: &str = "encode_output.txt";

let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".as_ref();

let file_path = Path::new("tests").join(DATA_FOLDER).join(ENCODE_OUTPUT);

let base64 = File::create(file_path.as_path()).unwrap();

let mut writer = ToBase64Writer::new(base64);

writer.write_all(test_data).unwrap();

writer.flush().unwrap(); // the flush method is only used when the full plain data has been written

assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", fs::read_to_string(file_path).unwrap());
FromBase64Reader

使用 use 关键字来将 base64_stream 这个 crate 底下的 FromBase64Reader 结构体给引用到当前的程序范围下。FromBase64Reader 结构体实作了 Read 特性,可以从经过 Base64 编码的数据源中,读取出其解码后的原始数据。

use std::io::Cursor;

use std::io::Read;

use base64_stream::FromBase64Reader;

let base64 = b"SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==".to_vec();

let mut reader = FromBase64Reader::new(Cursor::new(base64));

let mut test_data = String::new();

reader.read_to_string(&mut test_data).unwrap();

assert_eq!("Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.", test_data);
FromBase64Writer

使用 use 关键字来将 base64_stream 这个 crate 底下的 FromBase64Writer 结构体给引用到当前的程序范围下。FromBase64Writer 结构体实作了 Write 特性,可以输入经过 Base64 编码的数据,并输出其解码后的原始数据。

use std::fs::{self, File};
use std::io::Write;
use std::path::Path;

use base64_stream::FromBase64Writer;

const DATA_FOLDER: &str = "data";
const DECODE_OUTPUT: &str = "decode_output.txt";

let base64 = b"SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==".as_ref();

let file_path = Path::new("tests").join(DATA_FOLDER).join(DECODE_OUTPUT);

let test_data = File::create(file_path.as_path()).unwrap();

let mut writer = FromBase64Writer::new(test_data);

writer.write_all(base64).unwrap();

writer.flush().unwrap(); // the flush method is only used when the full base64 data has been written

assert_eq!("Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.", fs::read_to_string(file_path).unwrap());
改变缓冲空间的大小

预设的缓冲空间大小是 4096 个字节。若您想要改变缓冲空间大小,可以使用 new2 关联函数并且明确地定义要使用的长度(透过泛型),来产生出上面介绍的结构体的实体。

例如,要将缓冲空间大小改为 256 个字节的话,程序可以这样写:

use std::io::{Cursor, Read};

use base64_stream::ToBase64Reader;
use base64_stream::generic_array::typenum::U256;

let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".to_vec();

let mut reader: ToBase64Reader<_, U256> = ToBase64Reader::new2(Cursor::new(test_data));

let mut base64 = String::new();

reader.read_to_string(&mut base64).unwrap();

assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", base64);