在进行软件开发的时候,我们可能会需要让程序从外部读取 UTF-8 数据再转成编程语言内置的字符串类型。其实 UTF-8 数据不必在完全读取完后才去验证其正确性,一边读取一边验证才是比较有效率的作法。
以 Rust 编程语言来说,我们可以使用 std::string::String::from_utf8(vec) 关联函数来验证 Vec<u8> 结构实体的数据是否为正确的 UTF-8 数据,如果是的话就将其转换为 String 结构体;也可以使用 std::str::from_utf8(slice) 函数来验证 u8 切片的数据是否为正确的 UTF-8 数据,如果是的话就拷贝一份并转换为 String 结构实体。然而,如果我们在取得 UTF-8 数据并将其保存在内存的过程中就去验证 UTF-8 的话,如果数据并不是正确的 UTF-8,那我们也不必浪费内存空间和时间去保存所有的数据。
UTF-8 Builder
「UTF-8 Builder」是笔者开发的套件,可以从组块(chunk)创建并验证 UTF-8 字符串,每个组块不必是完整的 UTF-8 数据。
Crates.io
Cargo.toml
utf8-builder = "*"
使用方法
utf8_builder 这个 crate 提供了 Utf8Builder 结构体,Utf8Builder 结构实体提供了 push、push_str、push_char 和 push_chunk 方法可以用来在任何时候安全地读取数据以创建出 String 结构实体。当所有的数据都「push」进 Utf8Builder 结构实体后,就可以使用 finalize 方法来创建最终的 String 结构实体。
use utf8_builder::Utf8Builder;
const TEXT1: &str = "is is English.";
const TEXT2: &str = "这是中文。";
let mut builder = Utf8Builder::new();
builder.push(b'T').unwrap();
builder.push_char('h').unwrap();
builder.push_str(TEXT1).unwrap();
builder.push_chunk(TEXT2.as_bytes()).unwrap();
let result = builder.finalize().unwrap();
assert_eq!(format!("Th{}{}", TEXT1, TEXT2), result);
