DoS(Denial of Service,阻断服务)攻击,又称为洪水攻击,是常见的网络攻击手段。利用一台电脑发出大量的连接请求(Request),使目标电脑的网络或系统资源耗尽,使之当机或是无法再回应正常的请求。Nginx 是免费开源、稳定高效的 Web 服务器,非常广泛地被使用。Nginx 的功能强大,除了可以作反向代理和负载平衡外,也可以用来防御小规模的 DoS、DDoS(Distributed Denial of Service,分布式阻断服务)攻击。

Nginx 的 ngx_http_limit_req_module 模块

「ngx_http_limit_req_module」是 Nginx 预设激活的模块,可以用来限制同一个 IP 在每秒内或是每分钟内的连接次数。使用「ngx_http_limit_req_module」模块时,必须先在 Nginx 设置档中的 http 区块内撰写 limit_req_zone 命令,来创建出用来保存每个 IP 连接次数的共享内存空间,成为「Zone」。

例如:

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;

以上命令,可以创建出一个名为 mylimit 的「Zone」,拥有 10MiB 的大小的共享内存空间,为 key-value 结构。这个 key-value 结构所用到的「key」,可以是任意不超过 65535 个字节的数据,在此我们将其指定为 $binary_remote_addr,也就是请求端的 IP 地址,如果请求端使用 IPv4,则地址会占用 4 个字节;如果请求端使用 IPv6,则地址会占用 16 个字节。而每笔 key-value 数据,在 32 比特的操作系统中,会使用 64 个字节;而在 64 比特的操作系统中,则会使用 128 个字节。也就是说,假设连入 64 比特服务器的 IP 地址都是使用 IPv4 的话,10MiB 的 Zone 可以保存 10 * 1024 * 1024 / 128 = 81920 笔 key-value 数据。当这个 Zone 已经存满时,如果来了新的来自陌生 IP 地址的请求,就会把最久不使用的 key-value 数据从 Zone 中清除,将新进来的请求所使用的 IP 地址递补上去。至于命令中 rate 设置值的部份,10r/s (10 requests / second)表示来自同一个 IP 地址的请求,Nginx 每秒最多只会运行 10 个,换句话说 100 毫秒才会运行一个。至于如果在 100 毫秒内有两次以上来自同一 IP 地址的请求,Nginx 的处理方式则要使用其它命令来调整,这边的 limit_req_zone 命令只是先规定好一个大方向。

如果想要将 rate 设置值设小于 1r/s,也就是每次请求的间隔要在一秒以上的话,可以改用 r/m (requests / minute)单位,来限制每分钟的请求数量。虽然 rate 设置值用的单位是 r/s 和 r/m 但最终都会被换算成「每隔一段时间运行一个请求」,例如 10r/s 实际上是「100 毫秒运行一个请求」,而 600r/m 实际上也是「100 毫秒运行一个请求」。也因此就不要妄想会有 r/h (requests / hour)、r/d (requests / day)、r/w (requests / week)等单位了。

另外,Nginx 并没有限制 limit_req_zone 命令的使用次数,所以也可以创建出许多不同的「Zone」来使用。

总而言之,有了「Zone」之后,我们就可以在 Nginx 设置档中的 http 区块或是其子区块(如 server 或 location)内,使用 limit_req 命令,来限制来自同一 IP 的连接之请求间隔时间。例如:

limit_req zone=mylimit;

以上命令,可以使用 mylimit 这个「Zone」。如果 mylimit 的 rate 设置值为 10r/s,则来自同一 IP 的连接之请求间隔时间为 100 毫秒,如果在 100 毫秒内就有请求进来,Nginx 预设会回传 HTTP 的 503 状态(代表服务暂时无法使用,Service Temporarily Unavailable)。若想要更改请求过快时,Nginx 所回传的 HTTP 状态,可以使用 limit_req_status 命令。例如:

limit_req_status 444;

以上命令,会使得 Nginx 在来自同一 IP 的连接之请求间隔时间过快时,回传 HTTP 的 444 状态。

然而,如果我们的 Web 服务器是网页服务的话,直接使用 limit_req 命令指定一个「Zone」并不是一个适当的作法,因为浏览器打开一个网页时,会同时对该服务器发出多个请求,至于请求数量要看网页是怎么设计的。因为请求是「同时」发出,会导致只有其中一个请求会被正常处理,而其它紧接在后的请求全都会被当作「间隔过快的」请求,而造成网页显示出问题。因此,我们在使用 limit_req 命令时,还需要指定 burst 设置值,来让 limit_req 命令有能力处理首批比较大量的请求。例如:

limit_req zone=mylimit burst=30;

以上命令,将 burst 设为 30,表示 Nginx 最多可以暂存 30 个来自同一个 IP 地址的请求。如果 mylimit 的 rate 设置值为 10r/s,则会以「100 毫秒」运行一个暂存中的请求的速度,来将所有暂存中的请求处理完毕。若新的请求进来时,burst 的暂存空间已经满了,这个新的请求就会立刻被当作是「间隔过快的」请求。因此,这个 burst 的设置值,最好要大于或等于网站的任意网页所可能会产生的最大请求量,才不会导致网页一开就出问题。

但是,只加上 burst 设置值的 limit_req 命令还是会有一个很大的问题,那就是排在后面的请求必须要等待前面所有的请求都被运行后才会被运行。如果 mylimit 的 rate 设置值为 10r/s,则第 21 个请求要等前面 20 个请求都被运行后,也就是要经过至少 2 秒钟之后才会被运行,这样的话很可能会导致网页要等待好几秒才能完全加载好。因此,我们在使用 limit_req 命令时,除了要指定 burst 设置值外,通常还要搭配 nodelay 来使用。例如:

limit_req zone=mylimit burst=30 nodelay;

以上命令,由于多加了 nodelay,暂存于 burst 的请求不需要等待前面的请求即可被运行,但是被运行的请求并不会立刻移出 burst 的暂存中。如果 mylimit 的 rate 设置值为 10r/s,则会以「100 毫秒」移除一个暂存中已运行的请求的速度,逐一将 burst 的暂存空间清空,使它可以继续接收新的请求。若 burst 在当下已没有空间,新的请求还是会立刻被当作是「间隔过快的」请求。这样的机制可以让 Nginx 有能力处理首批比较大量的请求,同时也能防御后续短时间内又有大量请求的出现。

当然,对于需要被搜索引擎搜索到的网页来说,我们要尽可能地张开双手迎接搜索引擎「爬虫」(Crawler)的进入。若对搜索引擎的爬虫也限制一段时间内的请求数量,对网站的 SEO 绝对会有不利的影响。因此,这套限制 IP 的机制,必须还要有白名单功能才可以拿来实际运用在公开的网站上。我们可以改写一下原本 limit_req_zone 命令的写法,搭配 geo 命令和 map 命令来使用。

Nginx 的 geo 命令,可以判断某 IP(不指定的话就是请求端的 IP)是否在某 CIDR 或是 IP 范围内。写法如下:

geo $limit {
    default 1;
    10.0.0.0/8 0;
    192.168.18.5 0;
}

以上的 geo 命令,可以判断请求端的 IP,如果就是 192.168.18.5 或是在 10.0.0.0/8 这个 CIDR 下的话,$limit 就是 0;否则 $limit 就是 1。如果要使用「起始 IP-结束 IP」的 IP 范围写法,例如 192.168.18.1-192.168.18.20,就必须在 geo 区块的第一行加上 ranges;,而且此时区块内的所有地址都要写成 IP 范围,不能再使用 CIDR。

至于 Nginx 的 map 命令,可以判断某值究竟是什么值,来输出另一个值到其它的变量。写法如下:

map $limit $limit_key {
    0 "";
    1 $binary_remote_addr;
}

以上的 map 命令,可以判断 $limit 的值。当 $limit 为 0 时,$limit_key 就会被设为 "";当 $limit 为 1 时,$limit_key 就会被设为请求端的 IP 地址($binary_remote_addr)。

接着,我们可以将 limit_req_zone 命令改写成:

limit_req_zone $limit_key zone=mylimit:10m rate=10r/s;

如此一来,写在 geo 命令内的 CIDR 或是 IP 范围就是限制同一 IP 请求数量机制的白名单了!

至于搜索引擎的爬虫所使用的 IP 究竟有哪些,就要动手去查了。笔者推荐以下这个网站提供的免费数据,因为它有提供 CIDR 格式,套用起来比较容易~