乐胖代购免代理版

欢迎

filebeat收集IIS日志到es中

在工作中有需要收集IIS日志的需求时，可以使用filebeat组件；iis的日志格式解析：日志示例：#Software: Microsoft Internet Information Services 7.5 #Version: 1.0 #Date: 2019-03-14 00:00:00 #Fields:

iis

logstash

原创 2019-03-14 10:34:48 5390 阅读 1收藏

winlogbeat-收集windows事件日志并启用默认模板、dashboard相关配置

winlogbeat用于收集windows的系统事件日志；官网安装方法：https://www.elastic.co/guide/en/beats/winlogbeat/current/winlogbeat-installation.html收集并写入elasticsearch配置实例:winlogbeat.event_logs: - name: Sec

winlogbeat

原创 2019-03-13 10:13:59 10000+阅读 1点赞 2收藏

logstash增量读取mysql中的数据到es中

在工作中，需要把mysql中的数据写入到es中进行分析；下面是配置方法：input { jdbc { #数据库驱动路径 jdbc_drive

logstash

mysql

原创 2018-12-03 15:35:40 7193 阅读 1收藏 2评论

filebeat读取nginx日志并写入kafka

filebeat.yml的配置：filebeat.inputs:-type:logpaths:-/tmp/access.logtags:["nginx-test"]fields:type:"nginx-test"log_topic:"nginxmessages"fields_under_root:trueprocessors:-drop_fields:fields:["beat","input",

filebeat

kafka

原创 2018-11-29 11:29:39 9193 阅读 5评论

shell之删除elasticsearch30天以前的索引

在elasticsearch的运维工作中，由于es每天会产生大量的日志，如果一直保存不进行删除的话，再大的磁盘空间也会不够用；我们公司的es要求只保留30天的日志即可，超出30天的index则自动进行删除；#!/bin/bash###############################################Author:Liuzhengwei-1135960569@qq.com#QQ

自动清理

es

index

原创 2018-10-15 16:34:02 5158 阅读 1点赞 1收藏

logstash解析mysql慢日志

在工作中需要在elk中展示mysql的慢语句，以便于DBA每天查看并对比进行优化；mysql5.5，mysql5.6，mysql5.7的慢日志格式都不相同，根据自已的需要进行收集；mysql5.5日志样例：#Time:18091110:50:31#User@Host:osdb[osdb]@[172.25.14.78]#Query_time:12.597483Lock_time:0.000137Ro

elk

mysql

慢日志

原创 2018-10-10 17:44:53 5746 阅读 7评论

logstash解析haproxy的haproxy.log日志字段

在工作中需要在elk中展示haproxy的日志，用于分析访问客户IP、URI、PV等；日志样例：我只取出了2种类型的日志，在logstash解析时同时解析2种日志格式；Sep510:36:55localhosthaproxy[567197]:221.238.230.162:49225[05/Sep/2018:10:36:27.130]SBD-SecuritySBD-Reglog/shvnginx0

logstash

haproxy

原创 2018-09-06 14:39:18 4959 阅读 1评论

logstash解析tomcat的catalina.out日志字段

在工作中需要在elk中展示tomcat的日志，对其进行分析，报错排查及其它定制需求；下面为catalina.out日志样例，以此为样本进行字段的解析；2018-08-08 00:00:16,728 INFO [com.staples.adv.action.BaseShopAction] - <*********entry metho

解析

catalona

out

日志字段

原创 2018-08-08 16:05:19 10000+阅读 8评论

logstash解析系统的messages日志

logstash解析系统日志的写法，output中的stdout为调试，生产可以移除input{redis{host=>"192.168.1.181"port=>6379db=>"0"data_type=>"list"key=>"815"}}filter{grok{match=>{"message"=>"%{SYSLOGLINE}"}}mutate{rem

logstash

解析

messages

原创 2018-07-27 16:23:51 7228 阅读

filebeat解析单行内容并写入redis

此配置仅用于nginx等单行日志；从文件中读取内容写入到redis中；filebeat.inputs:-type:logpaths:-/data/nginx/log/access.logtags:["nginx"]fields:type:nginxfields_under_root:trueoutput.redis:hosts:["192.168.1.180"]key:"nginx-access-

filebeat

配置

内容

原创 2018-07-25 14:09:43 3344 阅读

logstash对nginx日志进行解析

logstash对nginx日志进行解析过滤转换等操作；配置可以用于生产环境，架构为filebeat读取日志放入redis，logstash从redis读取日志后进行操作；filter{json{source=>"message"remove_field=>"message"}useragent{source=>"agent"target=>"agent"remove_fi

logstash

nginx

日志

原创 2018-07-13 08:49:46 10000+阅读 4评论

logstash解析tomcat的catalina.out日志

input { file { type => "erp_log" path => "/var/log/nginx/catalina.out" &

out

catalina

logstash

原创 2016-11-25 14:28:56 4666 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

激情燃烧的岁月

欢迎

filebeat收集IIS日志到es中

winlogbeat-收集windows事件日志并启用默认模板、dashboard相关配置

logstash增量读取mysql中的数据到es中

filebeat读取nginx日志并写入kafka

shell之删除elasticsearch30天以前的索引

logstash解析mysql慢日志

logstash解析haproxy的haproxy.log日志字段

logstash解析tomcat的catalina.out日志字段

logstash解析系统的messages日志

filebeat解析单行内容并写入redis

logstash对nginx日志进行解析

logstash解析tomcat的catalina.out日志