windows日志采集 elk 日志采集方式

大家在做分布式web系统的时候，比如那么多个tomcat，每天都会产生很多的日志(虽然已经按小时进行日志拆分了，但日志内容还是很大，vim查日志的时候很慢)，而且那么多个tomcat，每个tomcat都要去查询，这样日志查询会很麻烦，效率很低，想请教大家是如何处理的呢？我赶脚这是个系统设计问题，不知道大家是用的什么架构和组件来解决这样的问题的？

一、简单的方法：Linux下截取Tomcat日志，按天截取日志内容

tail -f catalina.out 【单机简单万能好使，如果要特定条件直接加|grep **即可】

搜索指定日期日志文件： 

sed -n '/^起始日期/,/^结束日期/p' 日志文件 > 新文件（输出文件） 

例如：查询2018-02-15这天的所有日志内容： 
sed -n '/^2018-02-15/,/^2018-02-16/p' catalina.out > catalina_20180215.out

前提是catalina.out日志中的每行都是以日期格式开头的！ 

二、Tomcat日志配置远程Syslog（现在升级是Rsyslog）采集

第一步：初始化日志采集环境
先确保系统中的/var/spool/rsyslog 目录已存在：

mkdir -v /var/spool/rsyslog
if [ "$(grep Ubuntu /etc/issue)" != "" ]; then
  chown -R syslog:adm /var/spool/rsyslog
fi
第二步：创建Tomcat日志文件采集配置
新建Rsyslog的子配置文件，他通常在/etc/rsyslog.d下，需要/etc/rsyslog.conf去包含这个目录下的子配置文件：
vim /etc/rsyslog.d/tomcat-biglog.conf
复制以下内容到tomcat-biglog.conf，注意注释部分的修改：
$ModLoad imfile
$InputFilePollInterval 10
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm
## 指定日志格式模板：
$template BiglogFormatTomcat,"%msg%\n"
## Tomcat的catalina.log路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/catalina.log
$InputFileTag catalina-log
$InputFileStateFile stat-catalina-log
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## Tomcat的catalina.out路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/catalina.out
$InputFileTag catalina-out
$InputFileStateFile stat-catalina-out
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## Tomcat的host-manager.log路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/host-manager.log
$InputFileTag host-manager
$InputFileStateFile stat-host-manager
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## Tomcat的initd.log路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/initd.log
$InputFileTag initd
$InputFileStateFile stat-initd
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## Tomcat的localhost.log路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/localhost.log
$InputFileTag localhost-log
$InputFileStateFile stat-localhost-log
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## Tomcat的manager.log路径，根据实际情况修改:
$InputFileName /var/log/tomcat6/manager.log
$InputFileTag manager
$InputFileStateFile stat-manager
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
## 注意syslog日志服务器接收地址，根据实际情况修改：
if $programname == 'catalina-log' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'catalina-log' then ~
if $programname == 'catalina-out' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'catalina-out' then ~
if $programname == 'host-manager' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'host-manager' then ~
if $programname == 'initd' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'initd' then ~
if $programname == 'localhost-log' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'localhost-log' then ~
if $programname == 'manager' then @10.x.x.x:514;BiglogFormatTomcat
if $programname == 'manager' then ~
注：通过Rsyslog配置日志接收端的时候，如上示例@10.x.x.x:514，用于指定接收日志的服务器的协议、IP地址和端口号。使用@代表走UDP协议，使用@@代表走TCP协议，冒号后面的514代表接收端口。
第三步：重启Rsyslog服务，日志采集开始工作
service rsyslog restart
此时可以通过观察系统中的Rsyslog日志，确定是否正常工作。
cat /var/log/messages |grep rsyslog

三、使用ELK等开源软件进行对tomcat的日志采集

开源实时日志分析 ELK 平台能够完美的解决我们上述的问题， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成,本文档详细的介绍了ELK软件安装步骤以及tomcat日志收集

ELK+Redis 收集tomcat日志文件

Kibana 使用与Tomcat、Nginx 日志格式处理-

可以采用flume + kafka + storm （Hadoop）来做日志实时监控或者分析

四、借助于tomcat日志分析工具或者软件

例如awstats和日志易等  Java程序员须知的七个日志管理工具 - ImportNew http://www.importnew.com/12383.html

五、自己定期研发开发适合自己需求的tomcat日志分

如何把Tomcat的日志实时输出到Web页面上

    最近做了一个Web版的自动发布系统。实现了一个把Tomcat的catlina.out日志输出到Web页面的功能，做出来后，生活美好了一点。码农们不会再为了看日志来烦我了，以后有时间了准备扩展一下，把日志统一收集，过滤，让码农自己玩去，哈哈。作为一个运维狗，自动化一切，然后就有更多时间……了。省略号内容自行脑补。

先看效果

在部署状态页面点击查看日志，将会打开日志页面，下个图就是日志的输出页面。

简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。哈哈哈哈，写不好前端的运维不是好DBA。

刚开始拿到这个需求，咋觉得很难。因为在服务器上我们看一个日志，经常会tail -f 看着刷屏的感觉倍爽。如何在web页面上实现tailf的效果呢？

后来想想这样实现是可行的。前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。事实上我就是这么干的。后台程序写一堆shell命令调用有点别扭。想到解决方案之后，实现的过程就比较简单了。我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。

Django部分

点击查看日志的链接之后会调到views里的ajxGetLog方法，该方法需要两个参数，项目id和主机id，这两个参数主要是用来确定日志文件的位置。该方法返回行号。

execcommand是封装的一个subprocess.Popen的一个工具函数，返回一个列表分别是标准输出，错误输出和shell returncode
def ajxGetLog(request,pid,hid): 
    project = Project.objects.get(pk=pid) 
    host = Host.objects.get(pk=hid) 
    scriptname = '%s%s'%(base_path,'get_log.sh') 
    res = execcommand(['sh',scriptname,host.hostname,project.servicename]) 
    #如果错误输出不为空，直接返回错误输出 
    if not res[1]: 
        try: 
            #res[0]为行号，如果大于20行，从当前行的上面20行开始输出，为了用户体验，你懂得 
            if int(res[0]) > 20: 
                line = int(res[0]) - 20
            if int(res[0]) == 0: 
                line = 1
            return render(request,'logs.html',{'pid':pid,'hid':hid,'line':line}) 
        except Exception,e: 
            print e 
            return HttpResponse(e) 
    else: 
        return HttpResponse(res[1])html部分首席写一个ajax请求，传递到后台取日志内容的方法，传递三个参数项目id，主机id，和行号，后台将会返回对应行号的日志内容。该方法代码如下：
 def ajxGetLogHandle(request,pid,hid,line): 
    project = Project.objects.get(pk=pid) 
    host = Host.objects.get(pk=hid) 
    scriptname = '%s%s'%(base_path,'get_log.sh') 
    res = execcommand(['sh',scriptname,host.hostname,project.servicename,line])  
    if not res[1] and res[0].strip(): 
        return HttpResponse(res[0]) 
    else: 
        return HttpResponse(500)

Shell部分
实现返回行号和返回日志内容的功能是一个shell脚本，上shell
看到shell 是不是很亲切，现在知道传递的两个参数的作用了吧，host 和 项目id就是为了确定日志文件的路径，如果命令行参数没有传递行号就返回行号，如果有行号，就返回该行内容。

#!/bin/bash 
set -e 
HOST=$1 
SERVICENAME=$2 
LINENUM=$3 
LOGFILE="/opt/$SERVICENAME/logs/catalina.out"
if [ $LINENUM ];then
    ssh -A -T root@$HOST "sed -n ${LINENUM}p $LOGFILE"
else
    ssh -A -T root@$HOST "wc -l $LOGFILE|awk '{print \$1}'"
fi

前端部分
这部分就是ajax请求了，取出日志内容，动态添加到页面上，唯一的一个坑是，setInterval，我原来写的是一个while的死循环，在循环体里日志取到最后一行的时候break。我擦，逻辑上很流畅有没有，死活没效果，死活不工作。后来知道了，while搞的太快，不等后台返回，就走到下一次循环了。要不while里面来个sleep。要不弄个定时器，后来上了一个定时器，爽歪歪！

<style type="text/css"> 
html,body{background:#000; color:#090;} 
</style> 
  
{% load staticfiles %} 
<div style="margin-top:10px;"> 
<p id='log'></p> 
</div> 
<script src="/static/plugins/jquery/jquery.min.js"></script> 
<script> 
function myalert(){ 
    alert("服务器提出了一个问题，请找运维寻求答案！") 
} 
$(function(){ 
var line = {{line}} 
var pid = {{pid}} 
var hid = {{hid}} 
$.ajax({ 
    url: "{% url 'autodeploy:ajx_handle_log' pid=pid hid=hid line=line %}", 
    type: 'GET', 
    success: function(data){  
        if(data != 500){ 
          $('#log').append('<p>'+data+'</p>'); 
          var t  = setInterval(function(){ 
            line++  
            var url = "http://"+location.host + '/autodeploy/ajxloghandle/'+pid + '&' + hid + '&' +line 
            $.ajax({ 
                url: url, 
                type: 'GET', 
                success: function(data){ 
                    if(data != 500){ 
                        $('#log').append('<p>'+data+'</p>'); 
                        window.scrollTo(0,document.body.scrollHeight); 
                    }else{ 
                          clearInterval(t); 
                    } 
                }, 
                error: function(data) { 
                    myalert(); 
                    return false; 
                } 
            }); 
          },200);  
        }else{ 
          myalert(); 
        } 
    }, 
    error: function(data) { 
        myalert(); 
        return false; 
    } 
}); 
}); 
  
</script>

【补充知识】linux日志文件及日志分析

1、linux日志简介

     Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。

大部分Linux发行版默认的日志守护进程为 syslog（后续升级rsyslog），位于 /etc/syslog 或 /etc/syslogd，默认配置文件为 /etc/syslog.conf，任何希望生成日志的程序都可以向 syslog 发送信息。 

Linux系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息，这些信息对管理员了解系统的运行状态是非常有用的，所以应该把它们写到日志文件中去。完成这个过程的程序就是syslog。syslog可以根据日志的类别和优先级将日志保存到不同的文件中。例如，为了方便查阅，可以把内核信息与其他信息分开，单独保存到一个独立的日志文件中。默认配置下，日志文件通常都保存在“/var/log”目录下。

2、日志类型

下面是常见的日志类型，但并不是所有的Linux发行版都包含这些类型：

类型	说明
auth	用户认证时产生的日志，如login命令、su命令。
authpriv	与 auth 类似，但是只能被特定用户查看。
console	针对系统控制台的消息。
cron	系统定期执行计划任务时产生的日志。
daemon	某些守护进程产生的日志。
ftp	FTP服务。
kern	系统内核消息。
local0.local7	由自定义程序使用。
lpr	与打印机活动有关。
mail	邮件日志。
mark	产生时间戳。系统每隔一段时间向日志文件中输出当前时间，每行的格式类似于 May 26 11:17:09 rs2 -- MARK --，可以由此推断系统发生故障的大概时间。
news	网络新闻传输协议(nntp)产生的消息。
ntp	网络时间协议(ntp)产生的消息。
user	用户进程。
uucp	UUCP子系统

3、常见日志文件

所有的系统应用都会在/var/log 目录下创建日志文件，或创建子目录再创建日志文件。如：

我们可以粗略的分为两类日志：系统日志和应用日志，系统日志主要存放系统内置程序或系统内核之类的日志信息如alternatives.log 、btmp等，应用日志主要是安装的第三方应用产生的日志如tomcat7 、apache2等。

文件目录/日志名称	记录信息
/var/log/alternatives.log	系统的一些更新替代信息记录,如系统软件包升级更新，记录了程序作用，日期，命令，成功与否的返回码
/var/log/apport.log	应用程序崩溃信息记录,暂时这方面日志信息
/var/log/apt/history.log	使用apt-get安装卸载软件的信息记录，包含时间、安装命令、版本信息、结束时间等
/var/log/apt/term.log	使用apt-get时的具体操作，如 package 的下载打开等
/var/log/auth.log	登录认证的信息记录，包含：日期与 ip 地址的来源以及登陆的用户与工具
/var/log/boot.log	系统启动时的程序服务的日志信息
/var/log/btmp	错误登陆的信息记录
/var/log/Consolekit/history	控制台的信息记录
/var/log/dist-upgrade	dist-upgrade这种更新方式的信息记录
/var/log/dmesg	启动时，显示屏幕上内核缓冲信息,与硬件有关的信息
/var/log/dpkg.log	dpkg命令管理包的日志。
/var/log/faillog	用户登录失败详细信息记录
/var/log/fontconfig.log	与字体配置有关的信息记录
/var/log/kern.log	内核产生的信息记录，在自己修改内核时有很大帮助
/var/log/lastlog	用户的最近信息记录
/var/log/wtmp	登录信息的记录。wtmp可以找出谁正在登陆进入系统，谁使用命令显示这个文件或信息等
/var/log/syslog	系统信息记录

Tomcat访问日志分析方法

常使用web服务器的朋友大都了解，一般的web server有两部分日志：

    一是运行中的日志，它主要记录运行的一些信息，尤其是一些异常错误日志信息

    二是访问日志信息，它记录的访问的时间，IP，访问的资料等相关信息。

    

现在我来和大家介绍一下利用tomcat产生的访问日志数据，我们能做哪些有效的分析数据？

首先是配置tomcat访问日志数据，默认情况下访问日志没有打开，配置的方式如下：

    编辑 ${catalina}/conf/server.xml文件.注:${catalina}是tomcat的安装目录

    把以下的注释(<!-- -->)去掉即可。

      

<!--
        <Valve className="org.apache.catalina.valves.AccessLogValve"
                 directory="logs"  prefix="localhost_access_log." suffix=".txt"
                 pattern="common" resolveHosts="false"/>
        -->

    其中 directory是产生的目录 tomcat安装${catalina}作为当前目录

    pattern表示日志生产的格式，common是tomcat提供的一个标准设置格式。其具体的表达式为 %h %l %u %t "%r" %s %b

    但本人建议采用以下具体的配置，因为标准配置有一些重要的日志数据无法生。

        %h %l %u %t "%r" %s %b %T  

具体的日志产生样式说明如下(从官方文档中摘录)：

 

* %a - Remote IP address
    * %A - Local IP address
    * %b - Bytes sent, excluding HTTP headers, or '-' if zero
    * %B - Bytes sent, excluding HTTP headers
    * %h - Remote host name (or IP address if resolveHosts is false)
    * %H - Request protocol
    * %l - Remote logical username from identd (always returns '-')
    * %m - Request method (GET, POST, etc.)
    * %p - Local port on which this request was received
    * %q - Query string (prepended with a '?' if it exists)
    * %r - First line of the request (method and request URI)
    * %s - HTTP status code of the response
    * %S - User session ID
    * %t - Date and time, in Common Log Format
    * %u - Remote user that was authenticated (if any), else '-'
    * %U - Requested URL path
    * %v - Local server name
    * %D - Time taken to process the request, in millis
    * %T - Time taken to process the request, in seconds
There is also support to write information from the cookie, incoming header, the Session or something else in the ServletRequest. It is modeled after the apache syntax:
    * %{xxx}i for incoming headers
    * %{xxx}c for a specific cookie
    * %{xxx}r xxx is an attribute in the ServletRequest
    * %{xxx}s xxx is an attribute in the HttpSession

现在我们回头再来看一下下面这个配置 %h %l %u %t "%r" %s %b %T 生产的访问日志数据，我们可以做哪些事？

先看一下，我们能得到的数据有:

    * %h 访问的用户IP地址

    * %l 访问逻辑用户名，通常返回'-'

    * %u 访问验证用户名，通常返回'-'

    * %t 访问日时

    * %r 访问的方式(post或者是get)，访问的资源和使用的http协议版本

    * %s 访问返回的http状态

    * %b 访问资源返回的流量

    * %T 访问所使用的时间

    

有了这些数据，我们可以根据时间段做以下的分析处理(图片使用jfreechart工具动态生成)：

  * 独立IP数统计

  * 访问请求数统计

  * 访问资料文件数统计

  * 访问流量统计

  * 访问处理响应时间统计

  * 统计所有404错误页面

  * 统计所有500错误的页面

  * 统计访问最频繁页面

  * 统计访问处理时间最久页面

  * 统计并发访问频率最高的页面

分析工具包括两大部分，一个是后台解释程序，每天执行一次对后台日志数据进行解析后保存到数据库中。

第二个是显示程序，从数据库中查询数据并生成相应的图表信息。