哪些产品应用了es数据库

       

目录

1.日志采集模式

2.部署logstash服务

2.1.上传logstash安装包

2.2.解压logstash安装包

2.3.创建logstash相关目录

2.4.修改logstash配置

3.采集tomcat日志

3.1.logstash-tomcat.yml配置文件

3.2.检查配置文件是否正确

3.3.tomcat日志查询验证

3.3.1.启动logstash服务

3.3.2.创建索引模板

3.3.3.创建索引模式

3.3.4.查询结果展示

         Logstash 是一个强大的日志收集、解析、转换和发送工具。它可以对多种类型的日志进行收集、解析和转换，并支持将数据发送到多个目标，如 Elasticsearch、文件、UDP 等。Logstash 配置相对复杂，但功能强大，适合于大规模的日志收集和分析场景。
        ES（Elasticsearch）是一个分布式搜索和分析引擎，它可以对海量数据进行快速、近实时的存储、搜索和分析。ES 的强大功能使其适用于各种规模的企业级应用。
        Kibana 是一个可视化工具，它可以与 Elasticsearch 配合使用，为使用者提供直观的数据展示和查询界面。Kibana 支持多种数据源和查询方式，可以方便地对数据进行探索、分析和导出。
        适用场景：Logstash+ES+Kibana 适用于大型企业的日志分析场景，特别是需要对多种类型的日志进行收集、解析和转换的场景。由于 Logstash 的强大功能，它也适用于需要进行复杂数据预处理和发送到多个目标的场景。

1.日志采集模式

模式：logstash+es+kibana

2.部署logstash服务

在需要采集日志的机器上部署logstash服务，具体部署步骤如下。

2.1.上传logstash安装包

        将logstash-7.8.0.tar.gz上传到/usr/local/目录下

        

2.2.解压logstash安装包

命令:tar zxvf logstash-7.8.0.tar.gz

2.3.创建logstash相关目录

mkdir -p /usr/local/logstash
 mkdir -p /usr/local/logstash/data
 mkdir -p /usr/local/logstash/logs

2.4.修改logstash配置

命令：vi /usr/local/logstash-7.8.0/config/logstash.yml
#新增如下内容

path.data: /usr/local/logstash/data
 path.logs: /usr/local/logstash/logs

3.采集tomcat日志

3.1.logstash-tomcat.yml配置文件

配置文件路径：在/usr/local/logstash-7.8.0/config/路径下创建    logstash-tomcat.yml配置文件，配置示例如下：
赋权：chmod 755 logstash-tomcat.yml

input {
        file {
                path => "/usr/local/tomcat/logs/mall-api.log"
                type => "tomcat-mall-api"
                start_position => "beginning"
                stat_interval => "3"
        }
}

output {
        elasticsearch {
                hosts => "10.62.196.19:9200"
                index => "tomcat-mall-api-%{+YYYY.MM.dd}"
        }
}

配置说明:
input:
path:配置需要采集的日志路径
type：日志类型是"tomcat-mall-api"
start_position => "beginning" - 指定从文件的哪个位置开始读取。这里指定的是从文件的开头（beginning）开始读取。
stat_interval => "3" - 指定每隔多少秒检查一次文件的状态。这里指定的是每隔3秒检查一次。
output:
Index:创建索引的格式，是按业务日志类型和每天时间创建。

3.2.检查配置文件是否正确

检查文件是否正确：cd /usr/local/logstash-7.8.0/bin
命令：./logstash -f ../config/logstash-tomcat.yml -t
出现Configuration OK 则代表文件格式正确。

3.3.tomcat日志查询验证

3.3.1.启动logstash服务

路径：/usr/local/logstash-7.8.0/bin
命令： ./logstash -f ../config/logstash-tomcat.yml &

3.3.2.创建索引模板

a.登录kibana管理界面
b.选择：Management-stack-Management-Elasticsearch，进入“索引管理”，选择“索引模板”，创建tomcat模    板，具体参数如下：
名称：tomcat
索引模式：tomcat-*
索引设置：

{
   "index": {
            "highlight": {
              "max_analyzed_offset": "2000000000"
        },a
        "refresh_interval": "1s",
        "blocks": {
          "read_only_allow_delete": "false"
     },
        "query": {
         "default_field": [
          "*"
          ]
      },
        "priority": "1",
        "number_of_replicas": "0",
        "write": {
              "wait_for_active_shards": "1"
        }
       }
}

然后直接下一步，创建索引模板成功，展示如下：

3.3.3.创建索引模式

a.登录kibana管理界面
b.选择：Management-stack-Management-kibana
c.选择“索引模式”，点击“创建索引模式”，定义一个    索引模式，能够匹配到生成的tomcat的索引，然后保存。

3.3.4.查询结果展示

进入“discover”界面，选择tomcat-*模式,在搜索栏目填写搜索条件：type:"tomcat-mall-api"，然后点击：刷新，日志展示结果如下：