1.FileBeat介绍

  Filebeat是Elastic Stack中的一员,相对于Logstash来说比较轻量级,可以用作分布式日志采集,下面的配置文件说明怎么采集服务器上的日志文件到Kafka集群:

2.FileBeat安装

  上Elastic Stack官网下载FileBeat后,直接解压即可,解压示例如下:

tar -zxvf filebeat_6.5.4.tar.gz -C /usr/local

3.FileBeat配置

  进入FileBeat安装目录,使用vim编辑filebeat.yml文件,写入一下内容

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/src/nginx/logs/ma.log

output.kafka:
  hosts: ["192.168.5.19:9092","192.168.5.20:9092","192.168.5.21:9092"]
  topic: "ualog"
filebeat.inputs  指明了这里是输入配置模块
type  指明采集的数据类型是日志文件
enabled  指明启用日志采集配置
paths  指明日志文件所在的路径
output.kafka  指明了这里是kafka输出配置模块
hosts  这里配置kafka集群地址
topic  配置采集的数据进入哪个话题

4.FileBeat启动

  FileBeat安装目录下(filebeat 命令所在目录)执行以下命令,并使用tail -f nohup.out查看启动日志是否正常,如果有问题一般都是配置文件有问题,排查第三个步骤即可

nohup ./filebeat -e -c filebeat.yml &