1.镜像加速服务#备份原有配置文件 cp /etc/docker/daemon.json /etc/docker/daemon.json_$(data +%F).bak #配置加速镜像源 cat >/etc/docker/daemon.json <<'EOF' { "registry-mirrors": [ "https://docker.rainbond.
一.常用术语Kafka常用术语包括以下内容： Producer（生产者）：负责向Kafka发送消息的客户端。 Consumer（消费者）：从Kafka中获取消息的客户端。一个消费者隶属于一个消费者组。 Consumer Group（消费组）：一组消费者，共同消费一个Topic的数据，实现负载均衡和容错。 Topic（主题）：Kafka中消息的分类标签，是一个逻辑概念，用于对消息进行归类。一个主题最
一.zookeeper简介在部署ELK（Elasticsearch, Logstash, Kibana）集群时，通常需要一个Zookeeper集群来提供分布式协调服务。ZooKeeper官方地址，ZooKeeper官方指导文档地址。ZooKeeper是一个开源的分布式协调服务，主要用于分布式应用程序的协调和管理。它提供高可用、高性能、高可靠性的服务，能够帮助开发人员在分布式环境中实现任务分配、状态
一.简介修改ZooKeeper的堆内存大小，需要设置JVM的堆大小参数-Xmx和-Xms。一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。调整内存大小时，请确保物理内存可以支撑所设置的堆内存大小，以免发生内存溢出错误。二.修改1.查看zk进程ID [root@elk01 ~]# jps 39347 Kafka 34282 QuorumPeerMain #zk进程ID 3428
一.报错现象安装zookeeper集群，启动和查看状态报错 [root@elk01 ~]# zkServer.sh start/es/softwares/jdk1.8.0_351/bin/java ZooKeeper JMX enabled by default Using config: /es/softwares/zk/bin/../conf/zoo.cfg Starting zookeepe
在Elasticsearch中使用TLS（传输层安全性）通常是为了确保数据在网络中安全传输。可以使用Elasticsearch官方自带的证书生成工具elasticsearch-certutil生成证书，TLS配置官方指导文档。二.ES集群开启认证1.生成证书#所有节点 #进入ES安装目录 cd /es/softwares/es7/elasticsearch-7.17.5/ #生成证书 指定文件路
一.ossfs简介ossfs能将云对象存储服务OSS挂载成本地文件系统，方便用户像操作本地文件一样管理OSS数据。ossfs提供Ubuntu系统和CentOS系统的安装包。如果需要在其他环境下运行，可以通过源码方式构建目标程序，官方关键包下载地址。二.安装ossfs1.软件包安装X86架构 ubuntu、centos/anolis #centos8 sudo wget htt
一.logstash常用filter插件简介Filter插件主要用于对日志数据进行转换和解析，常用的Filter插件包括：geoip、ml-search[grok]、mutate、multiline和data。常用Filter组件及其功能，Logstash常用filter插件官方 指导文档GeoIP： GeoIP插件的主要功能是根据IP地址解析并添加地理位置信息字段，例如国家、省份、城市
一、logstash简介Logstash是一个日志收集和转发的工具，可以将不同源的日志统一收集、过滤、转发。Logstash官方指导文档，官方软件包 下载地址Filebeat与Logstash比较：FilebeatLogstash资源消耗轻量级功能强大处理能力基本的解析和过滤更复杂的数据转换和处理适用场景简单的日志收集和传输任务更复杂的数据处理和转换任务常见的日志采集处理解决方案Filebeat
一、简介在使用Filebeat采集日志并输出到Elasticsearch时，自动创建索引模板主要包括以下重要配置：关闭ILM（Index Lifecycle Management）：新版本的Filebeat默认开启了ILM，这可能导致索引的命名规则被ILM策略控制。为了自定义索引模板，需要关闭ILM。setup.ilm.enabled: false定义索引模板：通过setup.template相关
一、简介Filebeat采集日志输入时，使用log和filestream模块采集日志，7.16版本开始弃用log模块。二、配置示例使用log模块采集日志filebeat.inputs: - type: log paths: - /var/log/messages - /var/log/*.log使用log模块采集JSON格式日志filebeat.inputs: - type:
一、简介Filebeat是一个轻量级的日志采集工具，可以用于转发日志数据到Elasticsearch。在使用Filebeat采集Nginx和Tomcat日志时，特别是在处理多行日志模式时，需要进行适当的配置以确保日志能够被正确解析和收集。二、配置0.nginx和tomcat服务器安装filebeat#创建目录 mkdir -p /es/softwares/ #软件包下载 wget https://
一、简介Filebeat是一个轻量级的日志采集工具，可以用于转发日志数据到Elasticsearch。如果你的日志不是通过文件读取，而是通过网络端口读取，你可以使用tcp或udp类型，或者客户端无法安装filebeat，可以采用监听网络中TCP/UDP端口来收集日志。以下是采集TCP和UDP数据的配置示例：创建Filebeat配置文件（01-tcp-to-es.yaml），并配置输入源（TCP和U
filebeat的监控日志data/registry/filebeat/log.json记录那些内容？记录了Filebeat监控的日志文件的状态信息，包括文件的inode,source,offset,timestamp等。{"k":"filebeat::logs::native::138437282-2050","v":{"FileStateOS":{"inode":138437282,"devi
一、简介对象存储OSS支持通过多种方式上传文件。对于大文件（超过5 GB的文件），可能存在上传失败或者上传慢的情况。此时您可以通过分片上传、断点续传、ossbrowser工具、ossutil工具等多种方式上传大文件。二、ossbrowser工具下载以及使用1.ossbrowser工具下载地址及使用方法#下载安装后填写认证信息,登录访问 Endpoint AccessKeyId AccessKeyS
一、简介Filebeat是一个轻量级的日志采集工具，以文件的方式采集日志，可以用于转发日志数据到Elasticsearch，官方指导文档地址，软件包下载官方地址。官方beats系列地址，filebeat用于采集日志和其他数据的轻量型采集器。常见的日志采集处理解决方案Filebeat + ES + Kibana Filebeat + Logstash + ES + Kibana Filebeat +
一、简介Kibana的KQL查询语法是一种强大的查询语言，用于搜索和分析Elasticsearch中的数据。 KQL支持多种查询操作，包括精确匹配、模糊匹配、范围查询、布尔查询等，使得用户能够灵活地构建复杂的查询语句来满足各种数据分析需求。二、创建索引模式菜单---Stack Management索引模式---创建索引模式名称： vegetables* 时间戳字段：我不想使用
来自 阿铭linux视频号练习30 打印方块写一个shell脚本，交互式，根据提示，需要用户输入一个数字作为参考，最终打印出一个正方形。 正方形的组成使用特殊字符■，可以直接打印出来。 示例，如果用户输入数字为5，则最终显示的效果为 ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■cat >30.sh<<'EOF' #!/bin/
来自 阿铭linux视频号练习21 监控网卡流量 写一个shell脚本，监控网卡 每10分钟检测一次网卡ens33的流量 如果流量为0，则重启网卡 提示：使用sar -n DEVcat >21.sh<<'EOF' #!/bin/bash #auth：alibaby007 #version:v1 #date：2024-08-08 #为了精确匹配关
来自 阿铭linux视频号练习1 备份 for循环写一个shell脚本，遍历/data目录下的txt文件，将这些txt文件做一个备份，备份到当前目录， 备份的文件名增加一个年月日的后缀，比如将1.txt备份为1.txt_20240808cat >1.sh<<'EOF' #!/bin/bash #auth：alibaby007 #version:v1 #date：2024-08-0
一、简介iptables的端口转发功能，如nginx的4层代理，可以将外部访问的端口重定向到服务器内部的端口，iptables端口转发功能通常涉及到PREROUTING和nat表。二、添加端口转发规则#开启IP转发功能 echo 1 > /proc/sys/net/ipv4/ip_forward sysctl -w net.ipv4.ip_forward=1 #添加端口转发规则 iptabl
一、简介云环境一般系统盘只有40G，数据盘可能为500G/1024G或者更大，怎么把数据盘分区后挂载到系统盘呢？系统盘在安装操作系统选用的LVM分区的话，只需要把数据盘使用LVM分区，扩容到系统盘对应的LVM分区即可，系统盘在安装操作系统选用的标准分区的话，只需要把数据盘使用标准分区，扩容到系统盘对应的标准分区即可。二、标准分区扩容系统盘0.系统盘是标准分区，数据盘也采用标准分区1.系统盘只需要一
一、简介在Elasticsearch中，我们可以使用Elasticsearch-DSL（Elasticsearch Domain Specific Language）来构建和执行复杂的搜索查询。官方Query DSL指导文档。叶查询：在特定字段中寻找特定值,例如 match ,term 或 range。复合查询：具有查询子句或逻辑方式组和查询如 bool dis_max 包含must should
一、简介映射(Mapping)：定义了索引中文档的结构，包括字段的数据类型、分析器设置等。映射决定了如何索引和搜索文档中的数据，官方文档之映射。#映射的作用 1.定义字段类型和数据结构 映射定义了字段的数据类型（如text、keyword、integer等），决定了字段如何被索引和搜索。 2.控制数据存储和检索策略 映射决定了文档是如何被存储和检索的，合理的映射可以提高索引的性能和准确性，而不合理
一、JSON语法键值对：JSON中的数据在键/值对中，键和值之间用冒号分隔。键必须是字符串，并且用双引号包围。 对象：对象由大括号{}包围，包含多个键值对，键值对之间用逗号分隔。 数组：数组由方括号[]包围，包含多个值，值之间用逗号分隔。 数据类型：JSON的value值可以包括数字（整数或浮点数）、字符串（在双引号中）、逻辑值（true或false）、数组、对象、null等。#一个包含数组和对象
一、ES核心基本术语集群(Cluster)：由一个或多个节点组成的网络，共同提供索引和搜索功能。每个集群都有一个唯一的集群ID。#查看集群名字和UUID curl -X GET "localhost:9200"节点(Node)：构成集群的基本单元，每个节点都有一个唯一的ID，并且可以存储数据。#查看所有节点信息 curl -X GET "localhost:9200/_cat/nodes" #查看
一、系统排查分析1.用户信息的排查#查看用户和密码 cat /etc/shadow cat /etc/passwd #查看组信息 cat /etc/group #查看历史命令 history #查看最近登录成功的用户及信息 last #查看主机所有用户最近一次登录信息 lastlog #查看当前用户信息 id #查看当前登录系统的所有用户 who
一、问题现象administrator管理管理员打开hosts没有权限，修改hosts内容后没有权限保存，提示C:\Windows\System32\drivers\etc\hosts你没有去权限在此位置中保存文件。二、解决问题右键点击hosts---属性---安全---高级---更改权限点击添加进行新增权限设置选则主体---检查名称框输入用户名称administrator---检查名称---确定
w 命令在 Linux 中用于显示已登录用户的信息。这个命令会列出当前登录系统的用户，以及他们正在做什么。 以下是 w 命令的典型输出示例：16:17:22 up 10 days, 4:03, 2 users, load average: 0.00, 0.03, 0.05 USER TTY FROM LOGIN@ IDLE JCPU PC
一、简介ELK是三个开源软件的缩写：Elasticsearch, Logstash 和 Kibana，这三个组件常用于日志收集和分析。Logstash是一个日志收集和转发的工具，可以将不同源的日志统一收集、过滤、转发。 Elasticsearch是基于Lucene的搜索和分析引擎，可用于存储、搜索和分析大量的日志数据。它的特点是能够实时地对大量数据进行搜索和分析。 Kibana是一个日志分析的工具
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
