elk分析python日志 elk看日志缺点

ELK日志分析系统

• ELK日志分析系统简介

• 日志服务器介绍
• ELK日志分析系统

• ELK组成
• 日志处理步骤
• Elasticsearch的基础核心概念

• 1.接近实时(NRT)
• 2.集群(cluster)
• 3.节点(node)
• 4.索引
• 5.类型
• 6.文档
• 7.分片和副本

• logstash介绍

• 1.logstash主要组件

• Shipper:日志收集者
• Indexer:日志存储者
• Broker:日志Hub
• Searchandstorage
• Web Interface

• 2.logstash主机分类

• Kibana介绍

• 主要功能:

• ELK部署

• 配置ES环境
• 部署elasticsearch软件

• 1.**安装软件**
• 2.**加载系统服务**
• 3.**更改elasticsearch主配置文件**
• 4.创建数据存放文件路径并授权
• 5.启动elasticsearch是否成功开启
• 6.查看节点信息

• 安装elasticsearch-head插件
• 安装phantomjs
• 安装elasticsearch-head

• 修改主配置文件
• 启动elasticsearch-head
• **查看 elasticsearch-head 查看可视化工具是否成功应用**

• 部署apache服务器，安装Logstash

• logstash 与 elasticsearch 做对接测试

• 安装kibana

ELK日志分析系统简介

日志服务器介绍

优点：

• 提高安全性
• 集中存放日志

缺点：

• 对日志的分析困难

ELK日志分析系统

ELK组成

• Elasticsearch: ES(nosql非关数据库)：存储功能和索引
• Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到es中
  通过input功能来收集/采集log
  filter过滤器：格式化数据
  output输出：日志输出到es数据库内
• Kibana(展示工具)：将es内的数据在浏览器展示出来，通过UI界面展示(可以根据自己的需求对日志进行处理，方便查阅读取)

日志处理步骤

• 1.将日志进行集中化管理
• 2将日志格式化(Logstash）并输出到Elasticsearch
• 3.对格式化后的数据进行索引和存储(Elasticsearch)
• 4.前端数据的展示(Kibana) 。Ul界面展示(可以根据自己的需求对日志进行处理,方便查阅读取)

Elasticsearch的基础核心概念

1.接近实时(NRT)

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

2.集群(cluster)

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch
集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此，确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。es 具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一 身份标识(自己的名称) .

3.节点(node)

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要，在集群中用于识别服务器对应的节点。

4.索引

一个索引就是一个拥有积分相似特征的文档的集合，由一个名字来标识（必须全部是小写字母），索引相对于关系型数据库的库

5.类型

在一个索引种，可以定义一种或多种类型，一个类型是索引的一个逻辑上的分类/分区，其语义完全自定义。类型相对于关系型数据库的表

6.文档

一个文档是一个可被索引的基础信息单元，文档相对于关系型数据库的列

7.分片和副本

• 分片的主要原因

• 1.水平分割扩展、增大存储量
• 2.分布式并行分片操作，提高性能和吞吐量

• 副本的主要原因

• 1.高可用性，以应对分片或节点故障
• 2.qps性能、增大吞吐量，搜索可以并行在所有副本上执行
• 分片和副本的数量可以在索引创建的时候指定，在索引创建之后，可以动态地改变副本的数量，但是不能改变分片的数量

logstash介绍

1.logstash主要组件

正是由于以下组件在LogStash架构中可独立部署，才提供了更好的集群扩展性

Shipper:日志收集者

负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端(agent) 只需要运行这个组件

Indexer:日志存储者

负责接收日志并写入到本地文件

Broker:日志Hub

负责连接多个Shipper和多个Indexer

Searchandstorage

允许对事件进行搜索和存储

Web Interface

基于Web的展示界面

2.logstash主机分类

• 代理主机(agent host) :作为事件的传递者(shipper)，将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;
• 中心主机(central host) :可运行包括中间转发器(Broker)、索引器(Indexer) 、搜索和存储器(Search and Storage )、Web界面端“(Web Interface) 在内的各个组件，以实现对日志数据的接收、处理和存储

Kibana介绍

• Kibana是一个 针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。
• Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板(dashboard) 实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

主要功能:

• 1.Elasticsearch无缝之集成。Kibana架构为Elast icsearch定制， 可以将任何结构化和非结构化数据加入Elast icsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
• 2.整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
• 3.复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切
  割分块。
• 4.让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
• 5.接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
• 6.配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。
• 7.可视化多数据源。Kibana可 以非常方便地把来自Logstash、ES-Hadoop、 Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、 Fluentd等
• 8.简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

ELK部署

实验环境

主机名					主要软件					IP地址
ES服务器：node1 		Elasticsearch，Kibana	192.168.220.101
ES服务器，node2		Elasticsearch			192.168.220.102
Logstash服务器		Logstash，Apache		192.168.220.103

配置ES环境

配置JDK环境
添加地址映射
node1和node2同步操作

[root@node1 ~]# vim /etc/hosts
192.168.220.101 node1
192.168.220.102 node2

解压安装jdk

[root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/

[root@node1 opt]# vim /etc/profile		//插入环境
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 opt]# source /etc/profile

[root@node1 opt]# java -version		//查看java版本
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

部署elasticsearch软件

1.安装软件

上传elasticsearch-5.5.0.rpm到/opt目录下

[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2.加载系统服务

[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service
Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

3.更改elasticsearch主配置文件

[root@node1 opt]#  cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
//拷贝配置文件
[root@node1 opt]# vi /etc/elasticsearch/elasticsearch.yml
//取消以下对应行的#
17/ cluster.name: my-elk-cluster		//集群名字
23/ node.name: node1		//####节点名字
33/ path.data: /data/elk_data		//数据存放路径
37/ path.logs: /var/log/elasticsearch/		//日志存放路径
43/ bootstrap.memory_lock: false		//不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）
55/ network.host: 0.0.0.0		//提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200		//侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]
//集群发现通过单播实现“单播”

[root@node1 opt]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
//查看配置结果是否成功
cluster.name: my-application
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

node2:

4.创建数据存放文件路径并授权

[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/
[root@node2 opt]# ll -d /data/elk_data/
drwxr-xr-x. 2 elasticsearch elasticsearch 6 8月  16 21:18 /data/elk_data/

5.启动elasticsearch是否成功开启

[root@node1 opt]# systemctl start elasticsearch.service
[root@node1 opt]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      20351/java

6.查看节点信息

查看集群状态
宿主机浏览器输入：http://192.168.220.101:9200/_cluster/state?pretty

查看集群是否健康

宿主机浏览器输入：http://192.168.220.101:9200/_cluster/health?pretty

安装elasticsearch-head插件

node1、node2同步操作

依次安装node-v8.2.1.tar.gz、phantomjs-2.1.1-linux-x86_64.tar.bz2、elasticsearch-head.tar.gz

提前上传node-v8.2.1.tar.gz到opt目录下并安装

安装环境依赖包

[root@node2 opt]# yum install gcc gcc-c++ make -y

编译安装

[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install

安装phantomjs

前端框架

上传软件包到/usr/local/src/

[root@node1 node-v8.2.1]# cd /usr/local/src/
[root@node1 src]# tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

安装elasticsearch-head

数据可视化工具

提前上传elasticsearch-head.tar.gz 到 /usr/local/src 目录下

[root@node1 src]# tar xzvf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

修改主配置文件

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
#在末尾添加
http.cors.enabled: true					#开启跨域访问支持，默认为false
http.cors.allow-origin: "*" 			#跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch

启动elasticsearch-head

[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &      //切换到后台运行
[1] 121619
[root@node1 elasticsearch-head]# 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 ~]# netstat -antp | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      121629/grunt
[root@node1 ~]# netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      121527/java

查看 elasticsearch-head 查看可视化工具是否成功应用

在宿主机浏览器输入：http://192.168.220.101:9100/ ，在Elasticsearch 后面的栏目中输入http://192.168.220.101:9200

在node1上创建一个索引、类型、文档

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}
//修改索引时result：“updata”	created：false

刷新浏览器

查看索引信息

部署apache服务器，安装Logstash

[root@httpd ~]# yum -y install httpd
[root@httpd ~]# systemctl start httpd
[root@httpd ~]# java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode

安装logstash

[root@httpd ~]# cd /opt
[root@httpd opt]# rpm -ivh logstash-5.5.1.rpm               安装logstash
[root@httpd opt]# systemctl start logstash.service          启动logstash
[root@httpd opt]# systemctl enable logstash.service         设置开机自启
[root@httpd opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/   建立logstash软连接

logstash 与 elasticsearch 做对接测试

测试命令：
logstash 选项介绍：

• -f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
• -e：后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
• -t：测试配置文件是否正确，然后退出

输入标准输出

[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{} }'

使用rubydebug显示详细输出
在 192.168.220.103（httpd服务器）终端上输入以下内容
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’ 此命令需要手动输入收集得内容

[root@httpd local]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'

www.baidu.com
{
    "@timestamp" => 2021-08-16T15:01:47.138Z,
      "@version" => "1",
          "host" => "httpd",
       "message" => "www.baidu.com"
}

使用logstash将信息写入ES数据库中

[root@httpd local]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.101:9200"] } }'

刷新浏览器

在apache上做对接配置，收集系统日志

[root@httpd local]# chmod o+r /var/log/messages 
[root@httpd local]# cd /etc/logstash/conf.d/
[root@httpd conf.d]# vim system.conf
[root@httpd conf.d]# vim system.conf

input {
        file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
            }
        }
output {
        elasticsearch {
        hosts => ["192.168.220.101:9200"]
        index => "system-%{+YYYY.MM.dd}"
                }

        }

重启logstash服务

systemctl restart logstash.service

宿主机浏览器查看系统日志收集情况

安装kibana

在192.168.220.101（es集群node1节点）安装kibana

[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml

修改配置文件

[root@node1 src]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak	//备份配置文件
[root@node1 kibana]# vim kibana.yml
2 server.port: 5601                //kibana打开的端口
7 server.host: "0.0.0.0"           //kibana侦听的地址
21 elasticsearch.url: "http://192.168.226.128:9200"             
//和elasticsearch建立联系
30 kibana.index: ".kibana"
//在elasticsearch中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service 	//启动kibana

宿主机浏览器访问 http://192.168.220.101:5601 查看是否收集到系统日志