logstash-input-jdbc 安装教程
原创
©著作权归作者所有：来自51CTO博客作者Andy_黎青的原创作品，请联系作者获取转载授权，否则将追究法律责任
logstash-input-jdbc 安装教程
参考文档
安装步骤
安装 JRuby
- 下载程序包：jruby_windows_x64_9_2_7_0.exe
- 运行程序包，根据安装向导提示进行操作即可完成安装：
安装 logstash-input-jdbc 插件
- 下载
logstash-input-jdbc源码。当前最新是 4.3.13 版本: logstash-input-jdbc-4.3.13.zip - 构建
logstash-input-jdbc插件
- 解压
logstash-input-jdbc-4.3.13.zip。 - 进入解压目录，执行：
gem build logstash-input-jdbc.gemspec - 最终得到：
logstash-input-jdbc.gem
- 安装
logstash-input-jdbc插件
- 更换源：
-
gem sources -r https://rubygems.org/ -
gem sources -a https://gems.ruby-china.com/
- 进入
Logstash安装目录，执行命令：bin/logstash-plugin.bat install /your_local_plugin/logstash-input-jdbc.gem -
/your_local_plugin/logstash-input-jdbc.gem是上一步构建得到的插件的路径 
数据库同步测试
- 准备驱动包：mysql-connector-java-8.0.15.jar
- 准备配置文件：
- jdbc.conf
-
input {
jdbc {
# 数据库地址 端口 数据库名
jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
# 数据库用户名
jdbc_user => "root"
# 数据库密码
jdbc_password => "123456"
# mysql java驱动地址
jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# sql 语句
statement => "select * from computer"
schedule => "* * * * *"
type => "computer"
}
jdbc {
# 数据库地址 端口 数据库名
jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
# 数据库用户名
jdbc_user => "root"
# 数据库密码
jdbc_password => "123456"
# mysql java驱动地址
jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# sql 语句
statement => "select * from user"
schedule => "* * * * *"
type => "user"
}
}
output {
stdout {
codec => json_lines
}
if[type] == "computer" {
elasticsearch {
hosts => ["localhost:9200"]
index => "computer"
document_id => "%{id}"
}
}
if[type] == "user" {
elasticsearch {
hosts => ["localhost:9200"]
index => "user"
document_id => "%{id}"
}
}
}
- 执行同步命令：
bin/logstash.bat -f jdbc_files/jdbc.conf - 通过 Kibana 查看搜索引擎中的数据。Kibana 安装教程点击这里
