logstash读取es索引数据 logstash output elasticsearch

Elastic技术栈之Logstatsh数据同步

• Logstatsh
• 准备SQL
• 准备MySQL驱动
• 准备数据同步配置
• 启动数据同步
• 配置中文分词

Logstatsh

Logstash是elastic技术栈中的一员。Logstash是一个数据采集引擎，可以从数据库采集数据到es中。

通常通过设置自增id主键或者时间来控制数据的自动同步时间，自增id与时间主要用于logstash进行识别。

设置自增ID：

同步完后记录最后一条数据id，数据自增，下次同步从记录id开始再次同步

设置时间：

同步完后记录最后一条数据创建时间，下次同步与此时间进行比较，超过这个时间则同步。

可以同步新增数据或者修改数据，同一条数据时间更改会被识别，而id则不会

下载Logstatsh: https://www.elastic.co/cn/downloads/past-releases

使用Logstatsh的版本号与elasticsearch版本号需要保持一致

解压Logstatsh，进入Logstatsh解压目录创建sync目录，进入sync目录创建相关配置文件。

准备SQL

创建goods.sql文件，准备需要同步数据的查询SQL

# sql_last_value：Logstatsh每次同步完后的边界值

SELECT id,name,price,number,update_time FROM goods 						
WHERE is_existed =1 and updated_time >=:sql_last_value

准备MySQL驱动

下载: https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.49

准备数据同步配置

创建db-sync.conf数据同步配置文件

input {
	# 多张表的同步只需要设置多个jdbc的模块
    jdbc {
        # 设置MySql数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/demo?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "123456"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "D:\Development\logstash\sync\mysql-connector-java-5.1.49.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "100"
        # 执行的sql文件路径
        statement_filepath => "D:\Development\logstash\sync\goods.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到last_run_metadata_path的文件中
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "D:\Development\logstash\sync\track_time"
        # 如果 use_column_value为true， 配置本参数，追踪的column名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除last_run_metadata_path的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["127.0.0.1:9200"]
        # 同步的索引名
        index => "goods"
        # 设置_docID和数据相同
        document_id => "%{id}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

启动数据同步

D:\Development\logstash\bin>logstash -f D:\Development\logstash\sync\db-sync.conf

配置中文分词

数据同步时，mappings映射自动创建，但分词使用默认分词，而需要中文分词时，就需要自定义模板功能来设置分词。

访问：http://localhost:9200/_template/logstash查看默认模板配置

修改红框标注的3处地方。在sync目录创建ik.json文件，将修改后的模板配置json写入。

"version": 1,
"index_patterns": ["*"],
    
"norms": false,
"analyzer": "ik_max_word",

修改db-sync.conf文件,在output节点添加如下配置

output {
    elasticsearch {
        # es地址
        hosts => ["127.0.0.1:9200"]
        # 同步的索引名
        index => "goods"
        # 设置_docID和数据相同
        document_id => "%{id}"

	# 定义模板位置
	template => "D:\Development\logstash\sync\ik.json"
	# 重写模板
	template_overwrite => true
	# 默认为true,false关闭自动模板功能,自定义模板则需设置为false
	manage_template => false
    }

    # 日志输出
    stdout {
        codec => json_lines
    }