在进行软件开发的时候,我们可能会需要让程序从外部读取 UTF-8 数据再转成编程语言内置的字符串类型。其实 UTF-8 数据不必在完全读取完后才去验证其正确性,一边读取一边验证才是比较有效率的作法。

以 Rust 编程语言来说,我们可以使用 std::string::String::from_utf8(vec) 关联函数来验证 Vec<u8> 结构实体的数据是否为正确的 UTF-8 数据,如果是的话就将其转换为 String 结构体;也可以使用 std::str::from_utf8(slice) 函数来验证 u8 切片的数据是否为正确的 UTF-8 数据,如果是的话就拷贝一份并转换为 String 结构实体。然而,如果我们在取得 UTF-8 数据并将其保存在内存的过程中就去验证 UTF-8 的话,如果数据并不是正确的 UTF-8,那我们也不必浪费内存空间和时间去保存所有的数据。

UTF-8 Builder

「UTF-8 Builder」是笔者开发的套件,可以从组块(chunk)创建并验证 UTF-8 字符串,每个组块不必是完整的 UTF-8 数据。

Crates.io

Cargo.toml

utf8-builder = "*"

使用方法

utf8_builder 这个 crate 提供了 Utf8Builder 结构体,Utf8Builder 结构实体提供了 push、push_str、push_char 和 push_chunk 方法可以用来在任何时候安全地读取数据以创建出 String 结构实体。当所有的数据都「push」进 Utf8Builder 结构实体后,就可以使用 finalize 方法来创建最终的 String 结构实体。

use utf8_builder::Utf8Builder;

const TEXT1: &str = "is is English.";
const TEXT2: &str = "这是中文。";

let mut builder = Utf8Builder::new();

builder.push(b'T').unwrap();
builder.push_char('h').unwrap();
builder.push_str(TEXT1).unwrap();
builder.push_chunk(TEXT2.as_bytes()).unwrap();

let result = builder.finalize().unwrap();

assert_eq!(format!("Th{}{}", TEXT1, TEXT2), result);