Logstash官方文档提供了解决方案
一. 安装Logstash
下载版本一定要和Elasticsearch版本一致(如Elasticsearch版本为7.10.2，那么对应下载的Logstash版本也要选择7.10.2 ! ! ! 说多了都是泪😭😭）下边是我们公司使用的ES版本，因此Logstash版本也要选择7.10.2
- 下载MySQL依赖包下载地址（作为java程序员，我相信你肯定不需要😎）
恭喜你🎉🎉🎉，到这你已经成功1/4啦，接下来我们要去创建ES索引以及MySQL表啦，加油⛽️
二.创建ES索引以及MySQL表
ps：创建过程略过…当然，既然你能搜到这篇文章，说明你也已经创建过了，那么，请直接跳到第三步
- ES索引结构
- MySQL表结构
mysql原始数据
恭喜你🎉🎉🎉，到这你已经成功2/4啦，接下来我们要去配置Logstash啦，加油⛽️
三. 配置Logstash
- 进入到 /logstash-7.10.2/bin目录下，创建 testlogstash.conf 文件，这是具体的配置
input {
stdin {}
jdbc {
#===================这是你需要修改的第1个地方===============#
#数据库连接地址
jdbc_connection_string => "jdbc:mysql://localhost:3306/user_center?characterEncoding=UTF-8&autoReconnect=true"
jdbc_user => "root"
jdbc_password => "root"
# MySQL依赖包路径；
jdbc_driver_library => "/Users/chencunyou/Desktop/java/mysql/mysql-connector-java-8.0.27.jar"
#查询数据库语句（查询出的字段名要和es索引的字段名相同）
statement => "SELECT id,nick_name AS nickName,sex,birth_date AS birthDate,create_time AS createTime,update_time AS updateTime
FROM sys_user"
# 需要记录的字段，用于增量同步，需是数据库字段
tracking_column => "updateTime"
# record_last_run上次数据存放位置；
last_run_metadata_path => "/Users/chencunyou/Desktop/java/logstash-8.9.2/data/last_time.txt"
#====================第1个地方修改结束=====================#
type => "jdbc"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
# 数据库重连尝试次数
connection_retry_attempts => "3"
# 判断数据库连接是否可用，默认false不开启
jdbc_validate_connection => "true"
# 数据库连接可用校验超时时间，默认3600S
jdbc_validation_timeout => "3600"
# 开启分页查询（默认false不开启）；
jdbc_paging_enabled => "true"
# 单次分页查询条数（默认100000,若字段较多且更新频率较高，建议调低此值）；
jdbc_page_size => "500"
# statement为查询数据sql，如果sql较复杂，建议配通过statement_filepath配置sql文件的存放路径；
# sql_last_value为内置的变量，存放上次查询结果中最后一条数据tracking_column的值，此处即为ModifyTime；
# statement_filepath => "mysql/jdbc.sql"
# 是否将字段名转换为小写，默认true（如果有数据序列化、反序列化需求，建议改为false）；
lowercase_column_names => false
# Value can be any of: fatal,error,warn,info,debug，默认info；
sql_log_level => warn
#
# 是否记录上次执行结果，true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中；
record_last_run => true
# 需要记录查询结果某字段的值时，此字段为true，否则默认tracking_column为timestamp的值；
use_column_value => true
# Value can be any of: numeric,timestamp，Default value is "numeric"
tracking_column_type => timestamp
# 是否清除last_run_metadata_path的记录，需要增量同步时此字段必须为false；
clean_run => false
#
# 同步频率(分 时 天 月 年)，默认每分钟同步一次；
schedule => "* * * * *"
}
}
output {
elasticsearch {
#===================这是你需要修改的第2个地方===============#
# host => "localhost"
# port => "9200"
# 配置ES集群地址
hosts => ["127.0.0.1:9200"]
user => "admin"
password => "admin"
# 启用SSL/TLS加密（前提是开启了HTTPS访问）
ssl => true
# 禁用证书验证（前提是开启了HTTPS访问）
ssl_certificate_verification => false
# 证书地址（如果启用SSL/TLS加密的话，即使禁用证书验证，也需要配置否则会报错）
#cacert => "/Users/chencunyou/Desktop/java/logstash-7.10.2/CloudSearchService.cer"
# 你的索引名字，必须小写
index => "sys_user_dev"
# 数据唯一索引（建议使用数据库表唯一索引id）
document_id => "%{id}"
#====================第2个地方修改结束=====================#
}
stdout {
codec => json_lines
}
}- SSL证书下载
如果你是买的云服务器厂商的ES服务，去实例基本信息下载即可。我们公司用的华为云，我以华为云为例，进到"云搜索服务CSS"，找到ES实例，然后下载证书
恭喜你🎉🎉🎉，到这你已经成功3/4啦，接下来进入到最重要，同时99%会报错的最后一步，加油⛽️
四. 同步数据
- 进入到 bin 目录
- 执行脚本同步数据
./logstash -f testlogstash.conf- 执行结果（⚠️恭喜你，同步失败，当然幸运的你也可能不会碰到此问题）
Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"369539918421758535", :_index=>"sys_user_dev", :routing=>nil, :_type=>"_doc"}, #<LogStash::Event:0x41528007>], :response=>{"index"=>{"_index"=>"sys_user_dev", "_type"=>"_doc", "_id"=>"369539918421758535", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [sex] of type [integer] in document with id '369539918421758535'. Preview of field's value: 'false'", "caused_by"=>{"type"=>"json_parse_exception", "reason"=>"Current token (VALUE_FALSE) not numeric, can not use numeric value accessors\n at [Source: (byte[])\"{\"type\":\"jdbc\",\"createTime\":\"2023-09-15 20:22:47\",\"id\":369539918421758535,\"nickName\":\"易烊千玺\",\"@timestamp\":\"2023-09-15T14:23:01.583Z\",\"updateTime\":\"2023-09-15 20:23:03\",\"@version\":\"1\",\"sex\":false,\"birthDate\":\"2000-09-15\"}\"; line: 1, column: 202]"}}}}}
⚠️原因：数据库表中的sex字段，字段类型为tinyint，Logstash会转成boolean，但是ES中设置的也是int类型，所以你懂的
解决方案： 修改 testlogstash.conf 文件中的mysql连接地址，指定 tinyInt1isBit=false
jdbc_connection_string => "jdbc:mysql://localhost:3306/user_center?characterEncoding=UTF-8&autoReconnect=true&tinyInt1isBit=false"- 再次执行命令（发现还是报错🤬，当然幸运的你也可能不会碰到此问题）
Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"369539918421758535", :_index=>"sys_user_dev", :routing=>nil, :_type=>"_doc"}, #<LogStash::Event:0x4f58d64c>], :response=>{"index"=>{"_index"=>"sys_user_dev", "_type"=>"_doc", "_id"=>"369539918421758535", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [birthDate] of type [date] in document with id '369539918421758535'. Preview of field's value: '2000-09-14T16:00:00.000Z'", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"failed to parse date field [2000-09-14T16:00:00.000Z] with format [yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis]", "caused_by"=>{"type"=>"date_time_parse_exception", "reason"=>"Failed to parse with all enclosed parsers"}}}}}}
⚠️原因：mysql 中的字段 ‘birth_date’ 数据格式为 2000-09-15，通过LogStash导数据时 格式变为 2000-09-14T16:00:00.000Z而ES索引类型要求的格式为 ：yyyy-MM-dd所以报错；createTime、updateTime同理
解决方案：将testlogstash.conf 文件中的sql语句中的birthDate、createTime、updateTime使用 Data_Format操作
SELECT id,nick_name AS nickName,sex,
DATE_FORMAT(birth_date,'%Y-%m-%d') AS birthDate,
DATE_FORMAT(create_time,'%Y-%m-%d %H:%i:%S') AS createTime,
DATE_FORMAT(update_time,'%Y-%m-%d %H:%i:%S') AS updateTime
FROM sys_user- 同步成功
恭喜你🎉🎉🎉，到这你已经成功啦
四. 总结
- 启动容易报错的地方
⚠️如果你的ES集群开启了HTTPS访问，需要注意在 testlogstash.conf 文件配置SSL相关配置
- 同步数据时容易出错的2个地方
⚠️数据库字段类型为tinyint，需要在mysql连接地址配置 tinyInt1isBit=false
⚠️时间转换问题，sql需要使用 Data_Format 格式化
- 如果还是报错
⚠️请用idea打开testlogstash.conf 文件，重新对齐一下格式，保存后再执行脚本同步
- 完结撒花🎉🎉🎉🎉🎉🎉
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
