关键词：异常流量、rate limiting、Nginx、Apriori、频繁项集、先验算法、Lua、ELK
提纲：
所谓异常流量 如何识别异常流量 Apriori如何工作 如何让 Nginx 拦截可疑 IP
0x00，所谓异常流量
有害的异常流量大概分为以下几种：
在这些异常流量对我们的系统或用户产生大量危害之前，系统就应该拦截。
于是，第一个问题是，如何识别异常流量。
郑昀 基于杨海波的设计文档 创建于2015/8/13 最后更新于2015/8/25
关键词：异常流量、rate limiting、Nginx、Apriori、频繁项集、先验算法、Lua、ELK本文档适用人员：技术人员提纲：所谓异常流量如何识别异常流
1.Nginx概述1.1Nginx 简介nginx是一款高性能的http 服务器/反向服务器及电子邮件（IMAP/POP3）服务器。由俄罗斯的程序设计师Igor Sysoev所开发，官方测试nginx能够支支撑5万并发，并且cpu、内存等资源消耗却非常低，运行非常稳定，所以现在很多知名的公司都在使用nginx。2004 年 10 月发布第一个版本。国内大型的站点，例如百度、京东、新浪、
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444; }3.禁止某个目录执行脚本 ####比如网站上传目录，通常存放的都是静态文件，如果因程序验证不严谨被上传木马程序，导致网站被黑。以下规
在开始之前，请先备份你的 Nginx 配置。1.防止文件被下载比如将网站数据库导出到站点根目录进行备份，很有可能也会被别人下载，从而导致数据丢失的风险。以下规则可以防止一些常规的文件被下载，可根据实际情况增减。location ~ .(zip|rar|sql|bak|gz|7z)$ { return 444; }2.屏蔽非常见蜘蛛（爬虫） ####如果经常分析网站日志你会发现，一
nginx 拦截非法字符，nginx禁止url访问特定字符，nginx过滤url访问参考代码一#前缀为无限，后面的精准屏蔽字符 123
#资源宝分享：www.httple.net
if ($request_uri ~* "123") {
return 403 "I've recorded your ip Wait to check the water meter";
}参考代码二#前缀为in
不论是在现实生活、还是网络世界，总有那么一些不怀好意的人，老是喜欢在背后搞一些小动作，比如恶意请求你的网站，API接口，很多时候他也没有做啥过分的坏事，但就是会影响到正常用户的使用；下面就教一个非常好用的拦截方式：Nginx + 一个简单的脚本；即可轻松把这些人给揪出来，然后给禁用掉：在ngnix的conf目录下创建一个blockip.conf文件里面放需要封禁的IP，格式如下deny 1.2.3
一、静态代理 Nginx静态代理是指将所有的静态资源，例如，css、js、html、jpg等资源存放到Nginx服务器，而不存放在应用服务器Tomcat中，当客户端发出的请求是对这些静态资源的请求时，Nginx直接将这些静态资源响应给客户端，而无需提交给应用服务器处理，这样就减轻了应用服务器的压力。（一）扩展名拦截 1、修改配置文件location ~ .*\.(css|js|html|png
前提遇到的问题分析解决Nginx设置日志 前提我用nginx代理了两个端口，如下图所示：项目使用了一个拦截器，除了首页和静态资源都会被拦截遇到的问题如下图所示：我登录进入了首页，然后点击显示页面，但是被拦截了，显示页面就是一个list请求，按理说在Session存在的情况下不可能被拦截呀。分析解决我想是不是Session失效了或者访问的不是同一个端口，因为上面设置了nginx代理是轮询权重都是1
前段时间在自己做开发的时候发现一个很好用的工具，OKHttp的拦截器（何为拦截器？就是在每次发送网络请求的时候都会走的一个回调）大概效果如下： 现在OkHttp也是谷歌推荐的一款网络请求框架。现在很火的Retrofit2也都是基于OkHttp的封装。 如果每次看Log服务器返回的数据等都需要用PostMan发请求显得有点 low，可以直接集成拦截器在发送请求的时候打印出来就如同上图，
显示乱码问题server { listen 80; server_name example.; root /var//example; location / { charset utf-8; #一般是在个别的location中加入此项，具体情况具体对待 rewrite .* /index.html break; }}index显示列表(一般为企业内部使用)可在在locatio
文章目录引入简介作用常用命令配置文件 引入在公司项目刚上线时，用户少，并发量小，此时一个jar包启动应用就够了，然后内部 Tomcat 返回内容给用户 当用户增多，并发量增大，一台服务器满足不了我们的需求 于是可以横向扩展，增加服务器；这时几个项目启动在不同的服务器上，用户要访问，就需要增加一个代理服务器了，通过代理服务器来帮我们转发和处理请求 我们希望这个代理服务器可以帮助我们接收用户的请求，
1. 企业常用的Nginx重要功能模块1.1 Nginx核心功能模块（Core functionality）Nginx核心功能模块负责Nginx的全局应用，主要对应主配置文件的Main区块和Events区块区域，这里有很多Nginx必须的全局参数配置。
详情见：nginx.org/en/docs/ngx_core_module.html1.2 标准的HTTP功能模块集合上述这些模块，大部分在默认情
Nginx+Lua+Redis安装在公网IP为x.x.x.x的服务器上下载安装的软件版本：nginx-1.18.0+LuaJIT-2.0.5+redis-6.0.5Nginx+Lua+Redis安装第一步，安装编译工具及库文件。命令：yum groupinstall -y "Development Tools"yum install -y libxml2-devel curl-devel sieg
Nginx正则写法：location = / {
# 精确匹配 / ，主机名后面不能带任何字符串
[ configuration A ]
}
location / {
# 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求
# 但是正则和最长字符串会优先匹配
[ configuration B ]
}
location /documents/ {
# 匹
一、自定义拦截器 spring MVC也可以使用拦截器对请求进行拦截处理，用户可以自定义拦截器来实现特定的功能，自定义的拦截器可以实现HandlerInterceptor接口，或者可以继承HandlerInterceptorAdapter 适配器类preHandle()：这个方法在业务处理器处理请求之前被调用，在该方法中对用户请求 request 进行处理。如果程序员决定该拦截器对请求进行拦截处
1.一些重要概念 1.1 web容器 什么是web容器 1.web容器是帮助我们部署java、php、python、vue等项目的 作用（处理请求，返回数据） 第一，帮助django服务端处理客户端连接，官方号称可以处理10万（实现高并发） 第二，帮助处理静态资源请求（html、css、JS），返回给客户端浏览器（django等web服务器处理静态资源能力差）&
Nginx http过滤器filter模块开发一、过滤器模块简介二、Nginx相关数据结构介绍2.1、ngx_module的数据结构2.2、ngx_http_module数据结构2.3、ngx_command数据结构三、Nginx过滤器模块开发3.1、Nginx模块开发流程3.2、Nginx 模块执行3.3、示例代码3.4、编写config文件3.5、编译模块到Nginx源码中3.6、执行效果总
1.什么是Nginx百度百科中Nginx的介绍为 用一句话总结：Nginx 是⼀个⾼性能的HTTP和反向代理web服务器，核⼼特点是占有内存少，并发能⼒强。Nginx的应用场景可以分为：Http服务器（WEB服务器）、反向代理、负载均衡服务器、动静分离。Nginx的特点：跨平台：Nginx可以在⼤多数类unix操作系统上编译运⾏，⽽且也有windows版本Nginx的上⼿⾮常容易，配置也
Nginx提供的全局变量或自己设置的变量，结合正则表达式和标志位实现url重写以及重定向。rewrite只能放在server{},location{},if{}中，并且只能对域名后边的除去传递的参数外的字符串起作用。Rewrite主要的功能就是实现URL的重写，Nginx的Rewrite规则采用Pcre，perl兼容正则表达式的语法规则匹配，如果需要Nginx的Rewrite功能，在编译Nginx
