透过网页浏览器看到的网页绝大部分是使用 HTML 进行控制编排的,由于 HTML 的语法结构定义较为宽松,网页浏览器都有一定程度的容错率,因此有可能某个 100KB 的 HTML 实际上可以等价于不到 50KB 的 HTML,也就是说,多出来的数据量是完全不必要的,可是却会增加更多的网络流量和时间成本。
HTML Minifier
「HTML Minifier」是笔者开发的套件,可以在产生 HTML(串接字符串)的同时去进行 HTML 的压缩,并且支持 <style>、<script> 以及 <pre>、<code>、<textarea> 标签的特殊处理。采用的 HTML 压缩规则如下:
- 永远移除 ASCII 的控制字符(字符范围 0x00-0x08, 0x0B-0x1F, 0x7F)。
- 移除注解。(可选,预设会移除)
- 移除没作用的空格(包括空白键空格、TAB 和换行字符)。
- 连续的空格(包括空白键空格、TAB 和换行字符)会被转成单一的
'\x20'或是单一的'\n',如果可以的话。 - 空的属性值会被化简。(例如
<input readonly="">会简化成<input readonly>) - 除了以下几个元素以外,所有元素内部的 HTML 都会被压缩:
<pre><textarea><code>(可选,预设会压缩)<script>(如果是不支持的type属性才不压缩)<style>(如果是不支持的type属性才不压缩)<script>和<style>元素中的 JS 语法和 CSS 语法是使用minifier这个 crate 来压缩的。
在早期的版本中,这个套件会尝试将 HTML 压缩成一行(例如 <a>1</a>\n /\n <a>2</a> => <a>1</a> / <a>2</a>)。不过这样做的话,CJ 字符就必须要被检查,否则 中\n文 会被压缩成 中 文,就会是错误的结果。
在 3.0.0 版本之后,这个套件不再尝试将 HTML 压缩成一行了,如此一来便可以移除 UTF-8 计算,增进性能。而且这样做的话,还可以让这个套件除了能支持 ASCII 或是 UTF-8 编码的输入文字以外,也能支持其它任意自我同步(self-synchronizing)的编码。
Crates.io
Cargo.toml
使用方法
html_minifier 这个 crate 底下的 HTMLMinifier 结构实体拥有 digest 方法,可以多次传入要串接至 HTML 中的字符串,最后再使用 get_html 方法回传已压缩的 HTML。也就是说,使用 HTMLMinifier 时,不需要先把完整的 HTML 先产生好,再产生出压缩的 HTML。而是可以借由多次调用 HTMLMinifier 结构实体的 digest 方法,来串接字符串,直接产生出压缩的 HTML。如此一来可以省下许多处理时所需内存,又可以加快所需的时间。
use html_minifier::HTMLMinifier;
let mut html_minifier = HTMLMinifier::new();
html_minifier.digest("<!DOCTYPE html> <html ").unwrap();
html_minifier.digest("lang= en >").unwrap();
html_minifier.digest("
<head>
<meta name=viewport>
</head>
").unwrap();
html_minifier.digest("
<body class=' container bg-light '>
<input type='text' value='123 456' readonly='' />
123456
<b>big</b> 789
ab
c
中文
字
</body>
").unwrap();
html_minifier.digest("</html >").unwrap();
assert_eq!("<!DOCTYPE html> <html lang=en>
<head>
<meta name=viewport>
</head>
<body class='container bg-light'>
<input type='text' value='123 456' readonly/>
123456
<b>big</b> 789
ab
c
中文
字
</body>
</html>".as_bytes(), html_minifier.get_html());
use html_minifier::HTMLMinifier;
let mut html_minifier = HTMLMinifier::new();
html_minifier.digest("<pre > Hello world! </pre >").unwrap();
assert_eq!(b"<pre> Hello world! </pre>", html_minifier.get_html());
use html_minifier::HTMLMinifier;
let mut html_minifier = HTMLMinifier::new();
html_minifier.digest("<script type=' application/javascript '> alert('Hello!') ; </script>").unwrap();
assert_eq!("<script type='application/javascript'>alert('Hello!')</script>".as_bytes(), html_minifier.get_html());
如果希望产生出来的 HTML 数据是直接被送出,而不是存在内存中的话,可以使用 HTMLMinifierHelper 这个结构体,它提供了一个比较低级的 API,允许开发者在调用其 digest 方法时,传入一个用于输出的实体。
use html_minifier::HTMLMinifierHelper;
use std::fs::File;
use std::io::Read;
let mut input_file = File::open("tests/data/w3schools.com_tryhow_css_example_website.htm").unwrap();
let mut output_file = File::create("tests/data/index.min.html").unwrap();
let mut buffer = [0u8; 256];
let mut html_minifier_helper = HTMLMinifierHelper::new();
loop {
let c = input_file.read(&mut buffer).unwrap();
if c == 0 {
break;
}
html_minifier_helper.digest(&buffer[..c], &mut output_file).unwrap();
}
