在处理 Unicode 字符串的时候,CJK 字符经常需要当作特例来处理。Rust 的字符串虽然是采用 UTF-8 编码,但是它并没有内置 Unicode Block 清单,无法查找字符所属的 Unicode Block,也就不能判断一个字符是不是中文、日文或韩文字符了。没办法,只能自己做啦!

什么是 Unicode Block?

Unicode 的字符值有 21 个比特,将这 21 个比特切分区段,一个 Unicode Block 就位在一个区段内,彼此不会重叠。每个 Unicode Block 都有一个名称,可以看作是字符的类别名称。例如英文字母就属于 Basic Latin 这个 Unicode Block,区段范围是 U+0000..U+007F。

一个自然语言使用的 Unicode Block 并不一定是连续的,一个 Unicode Block 也可能被多种语言使用。所以要靠 Unicode Block 来判断字符属于哪种语言,其实也不能说是一件非常轻松容易的事。

Unicode Blocks

「Unicode Blocks」是笔者开发的套件,包含完整的 Unicode Block 清单,并且提供一些函数可以做一些查找的动作。

Crates.io

Cargo.toml

unicode-blocks = "*"

使用方法

unicode_blocks 这个 crate 底下的常数,即是一个 Unicode Block。find_unicode_block 函数可以传入一个字符,判断这个字符属于哪个 Unicode Block。

assert_eq!(unicode_blocks::BASIC_LATIN, unicode_blocks::find_unicode_block('A').unwrap());

is_cjk_block 函数可以判断一个 Unicode Block,是否属于 CJK 字符的范围。

assert!(unicode_blocks::is_cjk_block(unicode_blocks::CJK_UNIFIED_IDEOGRAPHS));

is_cjk 函数可以判断一个字符,是否是 CJK 字符。

assert!(unicode_blocks::is_cjk('。'));