docker 部署 logstash

原创

mob64ca12d16caa 2023-09-04 05:52:06 ©著作权

文章标签 Docker elasticsearch docker 文章分类 Docker 云计算

©著作权归作者所有：来自51CTO博客作者mob64ca12d16caa的原创作品，请联系作者获取转载授权，否则将追究法律责任

Docker部署Logstash

介绍

在现代的软件开发中，日志是非常重要的一部分。它们可以帮助我们了解系统的运行状况，排查问题和优化性能。Logstash是一个流行的开源工具，用于收集、处理和转发日志。它可以与Elasticsearch和Kibana等工具集成，创建一个完整的日志处理和可视化解决方案。

Docker是一个开源的容器化平台，它可以帮助我们快速、轻松地部署和管理应用程序。通过使用Docker部署Logstash，我们可以获得一个可靠、可伸缩的日志收集和处理系统。

本文将介绍如何使用Docker部署Logstash，并提供相应的代码示例。

准备工作

在开始之前，我们需要确保已经安装了Docker和Docker Compose。如果还没有安装，请按照Docker官方文档的说明进行安装。

创建Docker镜像

首先，我们需要创建一个包含Logstash的Docker镜像。可以通过编写一个Dockerfile来定义镜像的构建过程。

下面是一个简单的Dockerfile示例：

FROM docker.elastic.co/logstash/logstash:7.12.1

# 添加自定义配置文件
COPY logstash.conf /usr/share/logstash/pipeline/

# 安装插件
RUN logstash-plugin install logstash-output-elasticsearch

在上面的示例中，我们使用了官方提供的Logstash镜像作为基础镜像，并添加了一些自定义的配置文件和插件。

编写Logstash配置

接下来，我们需要编写Logstash的配置文件。Logstash使用一个称为pipeline的概念来定义数据的收集、处理和输出。

下面是一个简单的Logstash配置文件示例（logstash.conf）：

input {
  file {
    path => "/var/log/app.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{DATA:message}" }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

在上面的示例中，我们使用file插件从一个日志文件中收集日志，然后使用grok插件对日志进行解析和过滤，最后将处理后的日志输出到Elasticsearch中。

使用Docker Compose部署Logstash

现在我们已经准备好了Docker镜像和Logstash配置文件，可以使用Docker Compose来部署Logstash。

首先，创建一个名为docker-compose.yml的文件，并添加以下内容：

version: '3'
services:
  logstash:
    build: .
    volumes:
      - /var/log:/var/log
    depends_on:
      - elasticsearch
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    environment:
      - discovery.type=single-node

在上面的示例中，我们定义了两个服务：logstash和elasticsearch。logstash服务使用之前创建的Docker镜像构建，并将宿主机的/var/log目录挂载到容器中，以便可以收集本地日志。elasticsearch服务使用官方提供的Elasticsearch镜像。

接下来，打开终端并切换到包含docker-compose.yml文件的目录下。然后运行以下命令启动Logstash和Elasticsearch：