Flunted + Elasticsearch + Kibana的方案,发现有几个缺点:
不能处理多行日志,比如Mysql慢查询,Tomcat/Jetty应用的Java异常打印
不能保留原始日志,只能把原始日志分字段保存,这样搜索日志结果是一堆Json格式文本,无法阅读。
不符合正则表达式匹配的日志行,被全部丢弃。
本着解决以上3个缺点的原则,再次寻找替代方案。
首先找到了商业日志工具Splunk,号称日志界的Google,意思是全文搜索日志的能力,不光能解决以上3个缺点,还提供搜索单词高亮显示,不同错误级别日志标色等吸引人的特性,但是免费版有500M限制,付费版据说要3万美刀,只能放弃,继续寻找。
最后找到了Graylog,第一眼看到Graylog,只是系统日志syslog的采集工具,一点也没吸引到我。但后来深入了解后,才发现Graylog简直就是开源版的Splunk。
我自己总结的Graylog吸引人的地方:
一体化方案,安装方便,不像ELK有3个独立系统间的集成问题。
采集原始日志,并可以事后再添加字段,比如http_status_code,response_time等等。
自己开发采集日志的脚本,并用curl/nc发送到Graylog Server,发送格式是自定义的GELF,Flunted和Logstash都有相应的输出GELF消息的插件。自己开发带来很大的自由度。实际上只需要用inotifywait监控日志的modify事件,并把日志的新增行用curl/netcat发送到Graylog Server就可。
搜索结果高亮显示,就像google一样。
搜索语法简单,比如:
source:mongo AND reponse_time_ms:>5000
,避免直接输入elasticsearch搜索json语法搜索条件可以导出为elasticsearch的搜索json文本,方便直接开发调用elasticsearch rest api的搜索脚本。
本初自出https://testerhome.com/topics/3026?locale=zh-cn
centos7 Graylog3 最新版安装部署与使用详解
参考链接https://blog.csdn.net/weixin_41004350/article/details/87253316