中文是超过 10 亿人以上使用的语言,以地区来分的话大致可以分为繁体中文与简体中文,其中的繁体中文又可以再分为台湾正体和香港繁体。台湾正体、香港繁体和简体中文除了字形上会有差异之外(例如「体」和「体」),用语也是稍有不同(例如「程序」和「进程」、「软件」和「软件」),所以使用编程语言处理中文地区转换,并不是一件容易的事情。还好,有一个以 C++ 编程语言为基础所开发出来的开源工具──OpenCC,可以协助我们在 Rust 编程语言上实现繁体中文和简体中文的转换。
OpenCC GitHub 链接:
OpenCC Rust
「OpenCC Rust」是笔者开发的套件,可以让 Rust 程序绑定 OpenCC 的函数库,使 Rust 程序能够直接使用 OpenCC 函数库的功能。
Crates.io
Cargo.toml
编译
OpenCC 是使用 C++ 编程语言开发的,因此无法直接被引用至 Rust 程序中使用,必须要使用这篇文章介绍的做法来引用才行。为了简化问题,「OpenCC Rust」套件可以自动绑定操作系统中安装的 OpenCC 函数库。如果想要手动设置 OpenCC 函数库的位置也是可以的,尤其是想要让 Rust 程序可以在无 OpenCC 函数库的运行环境中使用,要先设置好以下的几个环境变量:
-
OPENCC_LIB_DIRS:函数库文件所在的目录位置。这个变量类似 C/C++ 编译器中-L参数的用途。路径如果有多个的话,必须使用:隔开。 -
OPENCC_LIBS:函数库的名称。这个变量类似 C/C++ 编译器中-l参数的用途。名称如果有多个的话,必须使用:隔开。通常这个变量的值是opencc。 -
OPENCC_INCLUDE_DIRS:函数库标头档的路径。这个变量类似 C/C++ 编译器中-I参数的用途。路径如果有多个的话,必须使用:隔开。 -
OPENCC_STATIC:是否要使用static(静态链接),否则就使用dylib来编译。 -
OPENCC_DYLIB_STDCPP:如果要使用static来编译,且 OpenCC 函数库是用 GNU C/C++ 编译器编译出来的话,这个环境变量应该要被设置成1,让 Rust 程序能够和stdc++函数库作链接。 -
OPENCC_STATIC_STDCPP:如果要使用static来编译,且 OpenCC 函数库是用 musl libc 编译器编译出来的话,这个环境变量应该要被设置成1,让 Rust 程序能够和stdc++函数库作链接。
使用方法
opencc_rust 这个 crate 底下有 OpenCC 结构体,这个结构体的实体提供了 convert 和 convert_to_buffer 方法,可以将从参数传入的字符串转换成其它字符串。至于转换的规则则是在一开始创建 OpenCC 结构实体的时候就必须决定好。opencc_rust 这个 crate 已经有内置了 OpenCC 预设的转换规则,以 DefaultConfig 这个枚举来表示。在使用 OpenCC 结构体的 new 关联函数来创建 OpenCC 结构实体的时候,除了可以传入转换规则的设置档(如 s2t.json、t2s.json 等)之外,还可以传入 DefaultConfig 枚举的变体实体。
以下是繁体中文转简体中文的范例:
use opencc_rust::*;
let opencc = OpenCC::new(DefaultConfig::TW2SP).unwrap();
let s = opencc.convert("涼風有訊");
assert_eq!("凉风有讯", &s);
let s = opencc.convert_to_buffer(",秋月無邊", s);
assert_eq!("凉风有讯,秋月无边", &s);
以下是简体中文转繁体中文的范例:
use opencc_rust::*;
let opencc = OpenCC::new(DefaultConfig::S2TWP).unwrap();
let s = opencc.convert("凉风有讯");
assert_eq!("涼風有訊", &s);
let s = opencc.convert_to_buffer(",秋月无边", s);
assert_eq!("涼風有訊,秋月無邊", &s);
OpenCC 内置的转换规则有以下几种,都已列在 DefaultConfig 枚举中:
- S2T:简体转繁体。
- T2S:繁体转简体。
- S2TW:简体转台湾正体。
- TW2S:台湾正体转简体。
- S2HK:简体转香港繁体。
- HK2S:香港繁体转简体。
- S2TWP:简体转台湾正体,允许惯用语转换。
- TW2SP:台湾正体转简体,允许惯用语转换。
- T2TW:繁体转台湾正体。
- T2HK:繁体转香港繁体。
静态字典档
OpenCC 的转换规则其实就是从文件系统中引入多个不同的字典档来进行字符串对应,而字典档由于 OpenCC 函数库本身设计的关系,只能存在于文件系统中使用。也就是说,即便我们将 OpenCC 的函数库以静态链接的方式与我们的 Rust 程序进行编译,Rust 程序在没有 OpenCC 函数库的运行环境下,还是需要额外的 OpenCC 字典档才能够运行。如果要连 OpenCC 的字典档都「静态化」,就只能将 OpenCC 的字典档与 Rust 程序编译在一起后,在使用 OpenCC 前,再把 OpenCC 字典档拷贝到文件系统中了。
为了简化这个问题,可以激活「OpenCC Rust」套件的 static-dictionaries 特色,Cargo.toml 设置档的写法如下:
[dependencies.opencc-rust]
version = "*"
features = ["static-dictionaries"]
激活 static-dictionaries 特色之后,在创建出 OpenCC 结构实体前,就能先使用 opencc-rust 这个 crate 底下的 generate_static_dictionary 函数,把需要用到的字典档先拷贝到指定的目录位置之下。举例来说:
use opencc_rust::*;
let output_path = "/path/to/dictionaries-directory";
generate_static_dictionary(&output_path, DefaultConfig::TW2SP).unwrap();
let opencc = OpenCC::new(Path::join(&output_path, DefaultConfig::TW2SP)).unwrap();
assert_eq!("凉风有讯", &opencc.convert("涼風有訊"));
