1.FileBeat介绍
Filebeat是Elastic Stack中的一员,相对于Logstash来说比较轻量级,可以用作分布式日志采集,下面的配置文件说明怎么采集服务器上的日志文件到Kafka集群:
2.FileBeat安装
上Elastic Stack官网下载FileBeat后,直接解压即可,解压示例如下:
tar -zxvf filebeat_6.5.4.tar.gz -C /usr/local
3.FileBeat配置
进入FileBeat安装目录,使用vim编辑filebeat.yml文件,写入一下内容
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/src/nginx/logs/ma.log
output.kafka:
hosts: ["192.168.5.19:9092","192.168.5.20:9092","192.168.5.21:9092"]
topic: "ualog"
filebeat.inputs 指明了这里是输入配置模块
type 指明采集的数据类型是日志文件
enabled 指明启用日志采集配置
paths 指明日志文件所在的路径
output.kafka 指明了这里是kafka输出配置模块
hosts 这里配置kafka集群地址
topic 配置采集的数据进入哪个话题
4.FileBeat启动
FileBeat安装目录下(filebeat 命令所在目录)执行以下命令,并使用tail -f nohup.out查看启动日志是否正常,如果有问题一般都是配置文件有问题,排查第三个步骤即可
nohup ./filebeat -e -c filebeat.yml &