Rust 的字符串是使用 UTF-8 编码的,如果直接使用 str 或是 String 的 len 方法,会得到 UTF-8 数据的字节的数量,而非字符数。因为在 UTF-8 编码下,一个字符不一定是一个字节,例如 4 会被编码成 [52];ß 会被编码成 [195, 159];中 会被编码成 [228, 184, 173];𩸽 (ㄌㄨㄥˇ)会被编码成 [240, 169, 184, 189]。那么要如何用 Rust 来计算字符(character or letter)数量,甚至是词(word)的数量呢?
要计算字符串中的字符数量,最简单的方式是 Chars 迭代器的 count 方法。程序如下:
let count = "哈啰 world".chars().count();
虽然上面的程序可以让我们知道字符串的字符数量,但若想要知道其中有几个词语就不行了。
Words Count
「Words Count」是笔者开发的套件,可以利用空格来计算字符数量和词的数量。
Crates.io
Cargo.toml
使用方法
words_count 这个 crate 底下的 count 函数可以用来分析传入的字符串当中的字词数量。如下:
use words_count::WordsCount;
assert_eq!(WordsCount {
words: 20,
characters: 31,
whitespaces: 2,
cjk: 18,
}, words_count::count("Rust是由 Mozilla 主导开发的通用、编译型编程语言。"));
count 函数回传的结果中,words 是词的数量,两个空格之间的非 CJK 字符会被当作是一个词,两个连续的减号 -- 会被断词(一个减号则不会),每个 CJK 字符视为一个独立的词;characters 是字符的数量;whitespaces 是空格的数量;cjk 是 CJK 字符的数量。
words_count 这个 crate 底下的 count_separately 函数可以用来计算传入的字符串中,每个词语分别出现的次数。如下:
let result = words_count::count_separately("apple banana apple");
assert_eq!(2, result.len());
assert_eq!(Some(&2), result.get("apple"));
以上程序,apple 这个词出现了两次,banana 这个词出现了一次。
