这两天出现一个小事故,是logstash读取文件信息输出到kafka,因为topic没有创建,而导致所有的topic都没有数据。先将配置文件列出来。
input {
file {
path => "/data/xx/log/xsec_anti_cheat_d/xsec_anti_cheat_d.log"
start_position => "end"
sincedb_path => "../data/sincedb-access-v1"
}
}
filter {
grok {
match => {
"message" => ["result\|%{GREEDYDATA:matched_result}"]
}
add_tag => ["result"]
tag_on_failure => []
}
grok {
match => {
"message" => ["phone_not_found\|%{WORD:appId}\|%{WORD:unmatched_phone}\|%{WORD:uid}"]
}
add_tag => ["phone"]
tag_on_failure => []
}
if "result" in [tags] {
json {
source => "matched_result"
}
}
mutate {
"remove_field" => ["logsource", "pid", "program", "@version", "host", "path", "message", "matched_result"]
}
}
output {
if "result" in [tags] {
if [appId] == "xxsignal_joinchan" {
kafka {
bootstrap_servers => "kafkasz006-core001.xx.com:8101,kafkasz006-core002.xx.com:8101,kafkasz006-core003.xx.com:8101"
topic_id => "xsec_anticheat_log_xxsignal_joinchan"
codec => json
}
}else if [appId] == "xxsignal_online" {
kafka {
bootstrap_servers =>"kafkasz006-core001.xx.com:8101,kafkasz006-core002.xx.com:8101,kafkasz006-core003.xx.com:8101"
topic_id => "xsec_anticheat_log_xxsignal_online"
codec => json
}
}
}
else if "phone" in [tags] {
kafka {
bootstrap_servers => "kafkasz006-core001.xx.com:8101,kafkasz006-core002.xx.com:8101,kafkasz006-core003.xx.com:8101"
topic_id => "xsec_anticheat_phone_notfound"
codec => json
}
}
}
由于对集群进行迁移,在新的kafka集群中漏创建了一个名为xsec_anticheat_phone_notfound的topic,因为缺乏监控原因,最初并没有发现变更配置后有问题。过了几个小时才发现,所有业务的日志数据全部都没有消费到,于是一步步去查根源。发现logstash的日志里有大量的这样的记录:
[2019-09-29T09:22:27,472][WARN ][org.apache.kafka.clients.NetworkClient] [Producer clientId=producer-48] Error while fetching metadata with correlation id 1204417 : {xsec_anticheat_phone_notfound=UNKNOWN_TOPIC_OR_PARTITION}
[2019-09-29T09:22:27,583][WARN ][logstash.outputs.kafka ] KafkaProducer.send() failed: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. {:exception=>java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.}
[2019-09-29T09:22:27,583][WARN ][logstash.outputs.kafka ] KafkaProducer.send() failed: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. {:exception=>java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.}
从日志上看,是因为xsec_anticheat_phone_notfound的topic没有建立造成的,出错后会sleep 60s,这出现我第一个疑问:为什么一个topic的出错,会造成所有的topic数据都无法写入?我看过logstash的配置,里面的并发应是安装环境的CPU核数,但从这现象上,我却怀疑logstash是单线程的。
第二个疑问:logstash出错后,是否一直等待到消息发送成功为止?从日志看出错后,logstash进入sleep状态,但是苏醒过来后,是重新去尝试发送出错的数据,还是跳过当前消息,如果是跳过当前消息,那下一条消息是没问题的,应是可以发送成功,那不应该所有数据都不会写入Kafka对应的topic中。
发现topic没有创建的问题后,我立刻创建topic,创建topic后,数据立刻恢复正常了,但是有个现象很奇怪的,接到的数据只是当前时间的,前面几个小时都没有了。第三个疑问:在配置中,start_position => "end"是设置是读取文件的最后,但没有任务重启操作,从出错的状态转为正常的状态,数据竟然从end的位置开始生产消息,如果每时每刻都从end去消费数据,那么如果数据量较大量是否会有消息漏掉?但从我观察来看,正常情况下数据并不会漏。
这三个疑问还停留在这里,数据恢复了,后面有空再研究这几个问题,有清楚原理的大牛麻烦回答下。