令牌桶限速 Java 令牌桶限流原理

Nginx提供了请求限制模块（ngx_http_limit_req_module）、基于令牌桶算法的流量限制模块（ngx_stream_limit_conn_module），可以方便的控制令牌速率，自定义调节限流，实现基本的限流控制
令牌桶算法

算法思想是：

• 令牌以固定速率产生，并缓存到令牌桶中；
• 令牌桶放满时，多余的令牌被丢弃；
• 请求要消耗等比例的令牌才能被处理；
• 令牌不够时，请求被缓存。

漏桶算法

 

 

 

算法思想是：

• 水（请求）从上方倒入水桶，从水桶下方流出（被处理）；
• 来不及流出的水存在水桶中（缓冲），以固定速率流出；
• 水桶满后水溢出（丢弃）。
• 这个算法的核心是：缓存请求、匀速处理、多余的请求直接丢弃。
• 相比漏桶算法，令牌桶算法不同之处在于它不但有一只“桶”，还有个队列，这个桶是用来存放令牌的，队列才是用来存放请求的。

漏桶和令牌桶算法最明显的区别就是是否允许突发流量(burst)的处理，漏桶算法能够强行限制数据的实时传输(处理)速率，对突发流量不做额外处理；而令牌桶算法能够在限制数据的平均传输速率的同时允许某种程度的突发传输。
Nginx按请求速率限速模块使用的是漏桶算法，即能够强行保证请求的实时处理速度不会超过设置的阈值

Nginx官方版本限制IP的连接和并发分别有两个模块：
limit_req_zone 用来限制单位时间内的请求数，即速率限制,采用的漏桶算法 "leaky bucket"。
limit_req_conn 用来限制同一时间连接数，即并发限制

请求限制
请求限制的功能来自于ngx_http_limit_req_module模块。使用它需要首先在http配置段中定义限制的参照标准和状态缓存区大小。

http{
    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
}
参数说明:
limit_req_zone: 能配置在http/server/location范围内；
$binary_remote_addr: 表示通过remote_addr这个标识来做限制，“binary_”的目的是压缩内存占用量，是限制同一客户端ip地址。
zone=mylimit:10m: 表示生成一个大小为10M，名字为mylimit的内存区域，用来存储访问的频次信息。
rate=1r/s: 表示允许相同标识的客户端的访问频次，这里限制的是每秒1次，还可以有比如30r/m的。

上边配置为意思:
定义了使用客户端的IP作为参照依据，并使用一个10M大小的状态缓存区。结尾的rate=1r/s 表示针对每个IP的请求每秒只接受一次。
10M的状态缓存空间够不够用呢？官方给出的答案是1M的缓存空间可以在32位的系统中服务3.2万IP地址，在64位的系统中可以服务1.6万IP地址，所以需要自己看情况调整。如果状态缓存耗光，后面所有的请求都会收到503(Service Temporarily Unavailable)错误

server {
    listen  80;
    location / {
        #上面配置同一个IP每秒只能发送一次请求（1r/s），这里配置了缓存3个请求，就意味着同一秒内只能允许4个任务响应成功，其它任务请求则失败(503错误)
        limit_req zone=mylimit burst=3 nodelay;
        proxy_pass http://localhost:8080;
    }
}
参数说明:
第一个参数：zone=mylimit 设置使用哪个配置区域来做限制，与上面limit_req_zone里的zone对应。
第二个参数：burst=3，burst爆发的意思，这个配置的意思是设置一个大小为3的缓冲区当有大量请求（爆发）过来时，超过了访问频次限制的请求可以先放到这个缓冲区内。
第三个参数：nodelay，如果设置，请求立刻处理，不能延迟，相当于特事特办，如果没有设置，则所有请求会等待排队。

并发限制
Nginx 并发限制的功能来自于ngx_http_limit_conn_module 模块，这个模块用来限制单个IP的请求数。并非所有的连接都被计数。只有在服务器处理了请求并且已经读取了整个请求头时，连接才被计数。

http{
    #按ip配置一个连接zone
    limit_conn_zone $binary_remote_addr zone=myconn:10m;
    #按server配置一个连接zone
    limit_conn_zone $server_name zone=perserver:10m;
}
参数说明:
limit_conn_zone: 只能配置在 http 范围内；
$binary_remote_addr: 表示客户端请求的IP地址；
myconn: 自己定义的变量名（缓冲区）；
limit_rate: 限制传输速度
limit_conn 与 limit_conn_zone 对应，限制网络连接数


server {
    listen  70;
    location / {
        #限制每个客户端IP连接到服务器的数量为1
        limit_conn myconn 1;
        #对应的key是$server_name，表示虚拟主机同时能处理并发连接的总数。
        limit_conn perserver 100;
        #限制传输速度(如果有N个并发连接，则是N * limit_rate)
        limit_rate 1024k;
        proxy_pass http://localhost:7070;
    }
}

定义了使用客户端的IP作为参照依据，并使用一个10M大小的状态缓存区。限定了每个IP只允许建立一个请求连接，同时传输的速度最大为1024KB