Base64 是一种能将任意 Binary 数据用 64 种字符组合成字符串的方法,而这个 Binary 数据和字符串数据彼此之间是可以互相转换的,十分方便。Base64 通常会用在小量数据上,因此可以完全将数据放在主内存中处理。但如果遇到大量数据时该怎么办呢?
Base64 的编码方式,会将 3 个字节的数据编码成 4 个字节,也就是说,如果要一次编码一个 #{{X}}# 大小的数据,那么就会需要使用到 #{{ X + { {4 \over 3}X } = {7 \over 3}X }}# 的内存空间。假设 #{{X}}# 为 30MB,就需要 70MB 的内存空间来进行编码!
因此,用 Base64 编码大量数据时,最好还是将数据切割读取,分段进行编码。当然,Base64 解码也会遇到内存空间的问题,而需要做分段解码。
Base64 Stream
「Base64 Stream」是笔者开发的套件,提供了 ToBase64Reader、ToBase64Writer、FromBase64Reader、FromBase64Writer 这四样工具,分别实作了 Read 和 Write 特性,可以进行全方位的 Base64 编解码。
Crates.io
Cargo.toml
使用方法
ToBase64Reader
使用 use 关键字来将 base64_stream 这个 crate 底下的 ToBase64Reader 结构体给引用到当前的程序范围下。ToBase64Reader 结构体实作了 Read 特性,可以从原始的数据源中,读取出 Base64 编码后的数据。
use std::io::{Cursor, Read};
use base64_stream::ToBase64Reader;
let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".to_vec();
let mut reader = ToBase64Reader::new(Cursor::new(test_data));
let mut base64 = String::new();
reader.read_to_string(&mut base64).unwrap();
assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", base64);
ToBase64Writer
使用 use 关键字来将 base64_stream 这个 crate 底下的 ToBase64Writer 结构体给引用到当前的程序范围下。ToBase64Writer 结构体实作了 Write 特性,可以输入原始的数据,并输出 Base64 编码后的数据。
use std::fs::{self, File};
use std::io::Write;
use std::path::Path;
use base64_stream::ToBase64Writer;
const DATA_FOLDER: &str = "data";
const ENCODE_OUTPUT: &str = "encode_output.txt";
let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".as_ref();
let file_path = Path::new("tests").join(DATA_FOLDER).join(ENCODE_OUTPUT);
let base64 = File::create(file_path.as_path()).unwrap();
let mut writer = ToBase64Writer::new(base64);
writer.write_all(test_data).unwrap();
writer.flush().unwrap(); // the flush method is only used when the full plain data has been written
assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", fs::read_to_string(file_path).unwrap());
FromBase64Reader
使用 use 关键字来将 base64_stream 这个 crate 底下的 FromBase64Reader 结构体给引用到当前的程序范围下。FromBase64Reader 结构体实作了 Read 特性,可以从经过 Base64 编码的数据源中,读取出其解码后的原始数据。
use std::io::Cursor;
use std::io::Read;
use base64_stream::FromBase64Reader;
let base64 = b"SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==".to_vec();
let mut reader = FromBase64Reader::new(Cursor::new(base64));
let mut test_data = String::new();
reader.read_to_string(&mut test_data).unwrap();
assert_eq!("Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.", test_data);
FromBase64Writer
使用 use 关键字来将 base64_stream 这个 crate 底下的 FromBase64Writer 结构体给引用到当前的程序范围下。FromBase64Writer 结构体实作了 Write 特性,可以输入经过 Base64 编码的数据,并输出其解码后的原始数据。
use std::fs::{self, File};
use std::io::Write;
use std::path::Path;
use base64_stream::FromBase64Writer;
const DATA_FOLDER: &str = "data";
const DECODE_OUTPUT: &str = "decode_output.txt";
let base64 = b"SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==".as_ref();
let file_path = Path::new("tests").join(DATA_FOLDER).join(DECODE_OUTPUT);
let test_data = File::create(file_path.as_path()).unwrap();
let mut writer = FromBase64Writer::new(test_data);
writer.write_all(base64).unwrap();
writer.flush().unwrap(); // the flush method is only used when the full base64 data has been written
assert_eq!("Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.", fs::read_to_string(file_path).unwrap());
改变缓冲空间的大小
预设的缓冲空间大小是 4096 个字节。若您想要改变缓冲空间大小,可以使用 new2 关联函数并且明确地定义要使用的长度(透过泛型),来产生出上面介绍的结构体的实体。
例如,要将缓冲空间大小改为 256 个字节的话,程序可以这样写:
use std::io::{Cursor, Read};
use base64_stream::ToBase64Reader;
use base64_stream::generic_array::typenum::U256;
let test_data = b"Hi there, this is a simple sentence used for testing this crate. I hope all cases are correct.".to_vec();
let mut reader: ToBase64Reader<_, U256> = ToBase64Reader::new2(Cursor::new(test_data));
let mut base64 = String::new();
reader.read_to_string(&mut base64).unwrap();
assert_eq!("SGkgdGhlcmUsIHRoaXMgaXMgYSBzaW1wbGUgc2VudGVuY2UgdXNlZCBmb3IgdGVzdGluZyB0aGlzIGNyYXRlLiBJIGhvcGUgYWxsIGNhc2VzIGFyZSBjb3JyZWN0Lg==", base64);
