乐胖代购免代理版

欢迎

kafka常见问题#yyds干货盘点#

1.什么事kafkaKafka是分布式发布订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2.为什么使用kafka1、缓冲和削峰：2、解耦和扩展性3、冗余4、异步通信3.Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么ISR:InSyncReplicas副本同步队列

kafka

数据

zookeeper

原创精选 2022-02-22 16:09:16 1084 阅读 2点赞 2收藏 yyds干货盘点

kafka常见的操作#yyds干货盘点#

1、kafka监控1、生产环境kafka监控MSKprodkafkamsktls01集群监控，1、kafka_exporter安装地址为：singaporeprodriskmonitorlogstash09，端口9309root@singaporeprodriskmonitorlogstash09,10.31.4.141:kafka_exporternohup/opt/kafka_exporter

kafka

zookeeper

2d

原创精选 2022-01-16 10:08:52 961 阅读 yyds干货盘点

ES相关的操作语句#yyds干货盘点#

1、通过设置ES模板来调整mappings的字段类型PUT_template/track_duration{"index_patterns":"track_duration","order":4,"settings":{"number_of_shards":2,"number_of_replicas":1},"mappings":{"properties":{"@timestamp":{"type

字段

json

数据类型

原创精选 2022-01-14 10:05:02 1879 阅读 yyds干货盘点

Elasticsearch优化#yyds干货盘点#

(一)、ES技术上优化（运维做的）一、硬件和系统的优化1、使用SSD磁盘2、内存的设置原则：一半的物理内存给JVM，另一半的内存给lucene,所以在ES内存设置方面遵循如下原则：物理内存小于64G时，ES<=50%(<=32G)Lucene=50%当物理内存大于64G时ES432G其他的内存给Lucene3、禁止swap,不允许内存与磁盘进行交换。elasticsearch.yml设置boots

物理内存

运维

lucene

原创精选 2022-01-13 18:37:11 1126 阅读 1点赞 yyds干货盘点

Elasticsearch常见的报错处理#yyds干货盘点#

1、根据应用程序情况，对vm.dirty_ratio，vm.dirty_background_ratio两个参数进行调优设置。例如，推荐如下设置：sysctlwvm.dirty_ratio=10sysctlwvm.dirty_background_ratio=5sysctlp如果系统永久生效，修改/etc/sysctl.conf文件。加入如下两行：\vi/etc/sysctl.confvm.dir

elasticsearch

脏数据

结点

原创精选 2022-01-12 18:20:00 9705 阅读 1点赞 yyds干货盘点

Filebeat相关的操作和配置#yyds干货盘点#

1、Filebeacat/etc/filebeat/filebeatk8s.ymlfilebeat.inputs:type:logenabled:truejson.keys_under_root:truejson.overwrite_keys:truepaths:/var/log/cd///access.logfields:log_topics:accesstags:"k8saccesslog"f

json

启动服务

vim

原创 2022-01-11 18:30:43 1431 阅读 yyds干货盘点

ES备份和恢复#yyds干货盘点#

1、安装aliyun得ossyuminstallfusefuselibsywgethttp://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpmrpmivhossfs_1.80.6_centos7.0_x86_64.rpm2、挂在oss到目录（具体参考https://help.aliyun.com/document_deta

elasticsearch

centos

json

原创精选 2021-12-19 19:30:55 819 阅读 yyds干货盘点

Elasticsearch跨集群数据备份和迁移

（一）、简述不同集群的ES环境搭建在不同的环境中，可以在公有云和私有云进行搭建，用户也可以根据自己的业务需要选择合适的迁移方案，如果业务可以停服务的话或者暂停写操作，可以采用离线迁移，离线迁移有四种方式可供选择：Elasticsearch-dumpsnapshotreindexlogstash(golang)（二）、使用方式1、elasticsearch-dump的安装和使用```1.1、elas

elasticsearch-dump

snapshot

原创精选 2020-09-30 19:13:33 9789 阅读

Elasticsearch集群监控

一、简述ES监控的最主要作用是用于监控ES的服务是否正常运行，以及在出现问题时为提供解决问题提供依据。目前ES监控主要针对三个级别分别是：集群级别、节点级别和索引级别。集群级别的监控主要是针对整个ES集群来说，包括集群的健康状况、集群的状态等。节点级别的监控主要是针对每个ES实例的监控，其中包括每个实例的查询索引指标和物理资源使用指标。索引级别的监控主要是针对每个索引来说，主要包括每个索引的性能指

es

es monitor

原创 2020-09-27 17:32:15 3260 阅读

Elasticsearch集群监控

一、简述ES监控的最主要作用是用于监控ES的服务是否正常运行，以及在出现问题时为提供解决问题提供依据。目前ES监控主要针对三个级别分别是：集群级别、节点级别和索引级别。集群级别的监控主要是针对整个ES集群来说，包括集群的健康状况、集群的状态等。节点级别的监控主要是针对每个ES实例的监控，其中包括每个实例的查询索引指标和物理资源使用指标。索引级别的监控主要是针对每个索引来说，主要包括每个索引的性能指

es

es monitor

原创 2020-09-27 17:32:11 2226 阅读

Elasticsearch优化-- ES是如何消费heap内存

ES的Heap内存基本上被SegmentMemory、FilterCache、FieldDataCache、BulkQueue、IndexingBuffer、ClusterStateBuffer、各类聚合查询的结果集fetch所消耗掉，具体情况如下：一、SegmentMemory1、Segment不是file吗？segmentmemory又是什么？前面提到过，一个segment是一个完备的luce

segment

segment memroy

原创 2020-09-24 19:28:26 6251 阅读

Elasticsearch分布式架构原理(一)

一、ES分片1、分片是ES中最小的工作单元。2、是一个Lucence的Index二、倒排索引的不可变性1、倒排索引采用的是ImmutableDesign，一旦生成不可更改。2、不可变性，带来的好处如下：2.1、不需要考虑并发写文件的问题，避免了锁机制带来的性能问题2.2、一旦读入内核的文件系统缓存，便留在那里，只要文件系统有足够的空间，大部分请求就会直接请求内存，不会命中磁盘，极大的提高了性能2.

refresh

flush

Elasticsearch

原创 2020-09-24 16:29:16 3307 阅读

Elasticsearch分布式架构原理(二)

一、基本概念elasitcsearch是一个分布式搜索引擎，底层实现是基于Lucene的，核心思想是在多台服务器上启动多个es进程实例组成一个es集群，基本概念如下：1、接近实时的（NRT）:ES是一个接近实时的搜索平台，这意味着，从索引一个文档直到文档能够被搜索到，只有轻微的延迟。2、集群（cluster）：一个集群有多个节点（服务器或实例进程）组成，通过索引的节点一起保存全部数据并且通过联合索

elasticsearch

原创 2020-09-23 18:14:06 1422 阅读

Elasticsearch7.2免费安全功能安装和配置

（一）、简介21日，Elastic官方发布消息：ElasticStack新版本6.8.0和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用Spaces为Kibana提供全面保护。免费提供的核心安全功能如下：TLS功能。可对通信进行加密；文件和原生Realm。可用于创建和管理用户；基于角色的访问控制。可用于

ES

x-pack

原创 2019-06-28 18:05:46 10000+阅读 6评论

could not find java;set JAVA_HOME or ensure java报错

在安装logstash时出现如下报错：“couldnotfindjava;setJAVA_HOMEorensurejavaisinPATHchmod:cannotaccess‘/etc/default/logstash’:Nosuchfileordirectorywarning:%post(logstash-1:6.6.0-1.noarch)scriptletfailed,exitstatus1”

JAVA_HOME

原创 2019-06-25 20:20:30 10000+阅读

Filebeat +Redis+ELK处理Nginx日志系统

（一）简述：　filebeat：具有日志收集功能，是下一代的Logstash收集器，但是filebeat更轻量，占用资源更少，适合客户端使用。　　redis：Redis服务器通常都是用作NoSQL数据库，不过logstash只是用来做消息队列。　　logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上

redis

elk

filebeat

原创 2018-09-20 20:09:53 10000+阅读 1点赞

Linux通过Rsyslog搭建集中日志服务器

（一）Rsyslog简介ryslog是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog是syslog的升级版，它将多种来源输入输出转换结果到目的地。rsyslog是一个开源工具，被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境，一种是配置成日志收集服务器，rsyslog进程可以从网络中收集其它主机上的日

rsyslog

日志

服务器

原创 2018-05-24 17:23:53 10000+阅读 6点赞 7收藏 2评论

Linux日志分析系统Awstat分析nignx日志

一.简述 AWStats 软件是一个免费的强大的基于Perl的WEB日志分析工具，显示你所有的网页/邮件/ FTP统计包括访问，访问者，页面，点击，高峰时间，操作系统，浏览器，搜索引擎，关键字，机器人访问，断开的链接和更多的阻力截图排序。（1）功能:它可以统计您站点的如下信息：一：访问量，访问次数，页面浏览量，点击数，数据流量等二：精确到每月、每日、每

awstats

原创 2017-09-18 14:20:35 3993 阅读 2点赞 2收藏

ELK收集nginx日志并用高德地图展示出IP

（一）测试的环境agentd:192.168.180.22ES：192.168.180.23kibana：192.168.180.23采用的拓扑：logstash -->ES-->kibana（二）实施步骤: （1）logstsh具体配置：1，配置nginx日志格式，采用log_format格式:log_format main &

nginx

kibana

elk

原创精选 2017-06-21 11:06:16 10000+阅读 8点赞 10收藏 1评论

（一）Elasticsearch-5.x安装与配置

(一）平台所需的环境OS:CentOS 7.x minimalelasticsearch :elasticsearch-5.4.0版本jdk: 1.8以上版本创建普通用户:appuser最新的下载路径地址为：https://www.elastic.co/downloads （二）配置操作系统的环境并安装elasticsearch：1.ifconifg查看网络的命令无法使用，最后的解决方

head

原创精选 2017-05-31 17:07:15 10000+阅读 3点赞 4收藏 4评论

Logstash笔记（四） ----output插件

（一）,标准输出和之前 inputs/stdin 插件一样，outputs/stdout 插件也是最基础和简单的输出插件。同样在这里简单介绍一下，作为输出插件的一个共性了解配置事例：output { stdout { &nb

output

logstash

原创 2017-05-26 14:58:15 10000+阅读

Logstash笔记（二） ----input插件

在"hello World" 示例中,我们已经见到并介绍了Logstash 的运行流程和配置的基础语法。请记住一个原则：Logstash 配置一定要有一个 input 和一个 output。在演示过程中，如果没有写明 input，默认就会使用 "hello world" 里我们已经演示过的 input/st

hello

world

原创精选 2017-05-25 09:56:12 10000+阅读 2点赞 2收藏 1评论

Logstash笔记（三）----Filter插件及grok的正则表达式来解析日志

（一）简介：丰富的过滤器插件的存在是 logstash 威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的 logstash 事件到后续的流程中去！ Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好

linux

grok

原创精选 2017-05-23 15:42:07 10000+阅读

Logstash笔记（一）

（一）含义： logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储

logstash

原创精选 2017-05-22 17:45:45 8184 阅读

ELK系统分析nginx日志

include

release

具体步骤

原创 2017-05-19 14:07:28 5557 阅读

ElasticSearch插件安装---Head ,Kopf与Bigdesk

简要说明：elasticsearch安装好后需要安装相应的插件Head ,Kopf与Bigdesk，才能更好的实现各种功能，一下就是这三种插件安装的基本步骤（一）安装ElasticSearch-Head ElasticSearch-Head 是一个与Elastic集群（Cluster）相交互的Web前台。ES-Head的主要作用：它展现ES集群的拓扑结构，并且可以通过它来进

Head

插件安装

ElasticSearch

Kopf

原创精选 2017-05-16 16:53:06 10000+阅读 1点赞 2收藏

HTTP常用的方法和状态码

（一）HTTP常用的方法有根据HTTP标准，HTTP请求可以使用多种请求方法。HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。序号方法描述1 GET 【查询或获取】请求指定的页面信息，并返回实体主体。2 HEAD【请求的头部信息】类似于get请求，只不过

服务器

客户端

上传文件

原创精选 2017-03-10 15:56:09 2156 阅读

ELK日志分析系统实战（一）安装和部署

在日常的运维管理活动，日志非常的重要，当发现error时可以从日志了解报错并及时解决。日志分为系统日志,应用日志,和安全日志，经常的分析日志可以了解服务器的硬件状况，性能以及安全，从而采取预防措施及时纠正任务。通常情况下，日志被分散到不同的存储设备上，而企业内部的服务器，少则十几台多则成千上百，如果采取最传统的方式

服务器

数据源

ELK

日志集成系统

三件套

原创 2016-03-31 16:28:48 10000+阅读 3点赞 5收藏 15评论

Linux部署webalizer日志分析工具

Webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果以HTML文件格式保存，从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。----百度百科Webalizer特性：1. 为是用C写的程序，所以其具有很高的运行效率。在主频为200Mhz的机器上，webalizer每秒钟可以分析1

linux

服务器

web

原创 2016-03-11 15:26:18 6271 阅读 2点赞 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

清风明月

欢迎

kafka常见问题#yyds干货盘点#

kafka常见的操作#yyds干货盘点#

ES相关的操作语句#yyds干货盘点#

Elasticsearch优化#yyds干货盘点#

Elasticsearch常见的报错处理#yyds干货盘点#

Filebeat相关的操作和配置#yyds干货盘点#

ES备份和恢复#yyds干货盘点#

Elasticsearch跨集群数据备份和迁移

Elasticsearch集群监控

Elasticsearch集群监控

Elasticsearch优化-- ES是如何消费heap内存

Elasticsearch分布式架构原理(一)

Elasticsearch分布式架构原理(二)

Elasticsearch7.2免费安全功能安装和配置

could not find java;set JAVA_HOME or ensure java报错

Filebeat +Redis+ELK处理Nginx日志系统

Linux通过Rsyslog搭建集中日志服务器

Linux日志分析系统Awstat分析nignx日志

ELK收集nginx日志并用高德地图展示出IP

（一）Elasticsearch-5.x安装与配置

Logstash笔记（四） ----output插件

Logstash笔记（二） ----input插件

Logstash笔记（三）----Filter插件及grok的正则表达式来解析日志

Logstash笔记（一）

ELK系统分析nginx日志

ElasticSearch插件安装---Head ,Kopf与Bigdesk

HTTP常用的方法和状态码

ELK日志分析系统实战（一）安装和部署

Linux部署webalizer日志分析工具