OpenAPI Log Cat(下简称APIcat)是一款基于OpenAPI定义文档对nginx/阿里云日志进行分析的开源工具,和原有网络日志分析工具多从底层或常见漏洞匹配的扫描逻辑不同,得益于OpenAPI定义文档的加入,对日志分析可以深入到应用逻辑层面。

APIcat 报告-防护-检测三部曲完成第二步。

APIcat本周在原有API日志分析报告的基础上,进行了防护层级的开发工作。

实时检测日志文件,实现对日志访问的实时分析

在报告逻辑中,APIcat主要实现了全文读取日志文件的功能,在防护逻辑中,主要依靠实时读取日志来进行分析,对所有日志中记录的所有访问行为,细分成了以下几个层次:

编号

程序显示

说明

9999

UnknownError

未知错误(内部错误,日常不会出现)

10000

Legal

合法访问

10001

Illegal_StaticView

Openapi文件中没有定义过的静态文件

10002

Illegal_UnknownUrl

Openapi文件中没有定义过的非静态文件(危险级别较静态文件高)

10003

Illegal_Method

Openapi中定义过url,但是访问方法错误

10004

Illegal_EmptyArgs

Openapi中定义过该url和对应的访问方法,但未提交任何参数

10005

Illegal_UnexpectedArgs

Openapi中定义过该url和对应的方法,但访问提交的参数不符合定义中规定的参数范围

10006

Illegal_DiffusedArgs

Openapi中定义过该url和对应的方法,但访问提交的参数被判定为滥用

联动生成Nginx IP规则,实现恶意访问防护

APIcat实时获取日志进行分析之后,目前实现了对Nginx配置的自动更新,通过配置deny/allow规则实现对恶意访问者的拦截。

APIcat 的nginx过滤方式会自动维护一个包含所有ip deny列表的文件,如果需要启用,需要在nginx配置的http段或者server段增加以下配置:

include       /etc/nginx/conf.d/iptables;

路径是watch子命令配置的nginx输出日志文件路径,上述样例为默认路径,可根据自身情况修改

支持多种配置规则,细化Nginx拦截策略

配置重启Nginx命令

完成配置文件更新之后,默认会调用nginx -s reload使得nginx重新按配置初始化

如果是docker等其他情况,支持通过以下参数设置重启指令

--nginx-workdir 指定重启命令的执行目录 --nginx-cmd 指定重启命令的命令

例如如果是docker-compose执行的nginx命令

--nginx-workdir指向docker-compose.yaml文件的路径 --nginx-cmd设置为"'docker-compose exec <PROXY> nginx -s reload'",其中<PROXY>替换为你的nginx service name,请注意因为该命令基本都是复杂命令,请使用引号将传入参数括起来

最小启动间隔

日志的检测和输出是实时探测的结果,但是在通常情况下,配置和重新加载不能根据错误实时执行,因此,设计为每隔一段时间周期执行,默认为5分钟。

这个参数可以通过--nginx-interval修改

配置设置级别

因为nginx只能配置放行(allow)或不放行(deny),所以需要配置一个我们需要的错误级别,只有高于这个级别的,我们才针对性的采取deny的设置。

这个设置通过--nginx-level我们可以设置,默认的配置为10002,也就是Illegal_UnknownUrl,具体的级别列表见上文

配置设置错误最低次数

我们还可以设置最低的错误次数,只有超过该次数的访问者才会被认为是恶意访问者,加入不放行规则,这个判定是按用户来的,比如一个用户访问了两个错误地址,则次数为2。

这个设置通过--nginx-count我们可以设置,默认的配置为2