在 Java 和 JavaScript 中,我们经常会使用字符串(String)提供的 length 成员(member)来抓取这个字符串的字数。由于 Java 和 JavaScript 并不像 Rust 或是 Golang 编程语言这样会直接抓到字符串在经过编码之后的字节数量,而是会得到字符的数量,所以我们很直觉地就会在 Java 或 JavaScript 用这样的方式来计算字符串的字数。
例如以下的 计算字数 函数,好像就可以成功正确计算出字数了啊?
Java
TypeScript
// 不要用,这是烂Code!
public static int 计算字数(final String s) {
return s.length();
}
// 不要用,这是烂Code!
const 计算字数 = (s: string): number => {
return s.length;
};
实测看看:
Java
TypeScript
System.out.println(计算字数("abc123")); // 6
System.out.println(计算字数("中文字")); // 3
System.out.println(计算字数(" ")); // 1
System.out.println(计算字数(" ")); // 1
System.out.println(计算字数("哈啰 world")); // 8
console.log(计算字数("abc123")); // 6
console.log(计算字数("中文字")); // 3
console.log(计算字数(" ")); // 1
console.log(计算字数(" ")); // 1
console.log(计算字数("哈啰 world")); // 8
字数正确啊?有什么问题吗?
先别急着肯定,再多试试,程序如下:
Java
TypeScript
System.out.println(计算字数("𩸽")); // 2
System.out.println(计算字数("𡇙")); // 2
System.out.println(计算字数("😮")); // 2
console.log(计算字数("𩸽")); // 2
console.log(计算字数("𡇙")); // 2
console.log(计算字数("😮")); // 2
𩸽 读「ㄌㄨㄥˇ」;𡇙 读「ㄉㄨㄛˇ」;😮 是惊讶表情。这些东西应该都只能分别算是一个字,但是使用以上的 计算字数 函数却都被计算为两个字了。
这是因为 Java 和 JavaScript 是使用 UTF-16 来编码字符串,一个字可能会被编码为 2 个字节(byte)或是 4 个字节。但 Java 和 JavaScript 都认为一个字符(character)是 16 个比特(即 2 个字节),而字符串 "𩸽"、"𡇙"、"😮" 在经过 UTF-16 编码后都是 4 个字节,就会被当成是 2 个字符。Java 和 JavaScript 的字符串提供的 length 成员能够取得字符数量。
JavaScript 并未直接提供「字符」类型;Java 则有提供,即 char。在 Java 中,无法直接将 UTF-16 编码后为 4 个字节的字当作一个 char 类型的数据来使用,例如以下这行 Java 叙述就会造成编译错误:
char c = '𩸽';
所以说,在 Java 和 JavaScript 中直接将字符数量视同字符串的字数是不安全 的!
安全地计算字数
笔者最先想到的方式还是先把字符串进行 UTF-8 的编码后再去计算字数。
有关于 UTF-8 字符宽度的说明可以参考下面这篇文章(Rust 编程语言):
Java
TypeScript
public static int 计算字数(final String s) {
final byte[] utf8Data;
try {
utf8Data = s.getBytes("UTF-8");
} catch (final Exception exception) {
// unreachable
return -1;
}
int p = 0;
int counter = 0;
while (p < utf8Data.length) {
final int first = Byte.toUnsignedInt(utf8Data[p]);
++counter;
if (first <= 0x7F) {
p += 1;
} else if (first <= 0xDF) {
p += 2;
} else if (first <= 0xEF) {
p += 3;
} else {
p += 4;
}
}
return counter;
}
Java 虽然支持 UTF-32 编码,可以直接把每个字符编码成 4 个字节,之后再把字节的数量除以 4 就是字数了。不过这个作法性能并不好,不建议使用。参考用的代码如下:
// 不要用,这是烂Code!
public static int 计算字数(final String s) {
try {
return s.getBytes("UTF-32BE").length / 4;
} catch (final Exception exception) {
// unreachable
return -1;
}
}
const 计算字数 = (s: string): number => {
const utf8Data = new TextEncoder().encode(s);
let p = 0;
let counter = 0;
while (p < utf8Data.length) {
const first = utf8Data[p];
counter += 1;
if (first <= 0x7F) {
p += 1;
} else if (first <= 0xDF) {
p += 2;
} else if (first <= 0xEF) {
p += 3;
} else {
p += 4;
}
}
return counter;
};
或者也可以使用以下更推荐、更快速简洁的做法:
Java
TypeScript
public static int 计算字数(final String s) {
return s.codePointCount(0, s.length());
}
const 计算字数 = (s: string): number => [...s].length;