乐胖代购免代理版

goaccess 日志分析

nginx

html

原创 4月前 68 阅读

系统性能之内存篇（二）

利用缓存来提升程序的运行效率，即命中率越高，表示使用缓存带来的收益越高，应用程序的性能也就越好。所谓缓存命中率，是指直接通过缓存获取数据的请求次数，占所有数据请求次数的百分比。如何查询缓存命中情况呢？介绍两个工具； cachestat 提供了整个操作系统缓存的读写命中情况。cachetop 提供了每个进程的缓存命中情况。使用这两个工具首先需要安装bcc软件包，要想安装bcc-tools 需要

缓存

sed

Time

原创 2023-06-08 15:10:53 90 阅读

python并发编程

1.协程示例1：import timeimport asyncioasync def crawl_page(url): print('crawling {}'.format(url)) sleep_time = int(url.split('_')[-1]) await asyncio.sleep(sleep_time) print('OK {}'.format(url))

事件循环

3c

4s

原创 2023-03-18 19:16:41 152 阅读技术人为什么要写博客？

系统性能之内存篇（一）

1.buffer和cacheBuffers 是对原始磁盘块的临时存储，也就是用来缓存磁盘的数据，通常不会特别大（20MB 左右）。这样，内核就可以把分散的写集中起来，统一优化磁盘的写入，比如可以把多次小的写合并成单次大的写等等。（读写磁盘）Cached 是从磁盘读取文件的页缓存，也就是用来缓存从文件读取的数据。这样，下次访问这些文件数据时，就可以直接从内存中快速获取，而不需要再次访问缓慢的磁盘。（

缓存

数据

读取数据

原创 2023-02-21 22:15:11 241 阅读

系统性能之网络篇（三）

NAT 技术能够重写 IP 数据包的源 IP 或目的 IP，所以普遍用来解决公网 IP 地址短缺的问题。它可以让网络中的多台主机，通过共享同一个公网 IP 地址，来访问外网资源。（比如云主机上网通过配置一个NAT解决所有主机出网）1.工具介绍SystemTap 是 Linux 的一种动态追踪框架，它把用户提供的脚本，转换为内核模块来执行，用来监测和跟踪内核的行为。安装：yum install

.net

IP

NAT

原创 2023-02-20 17:21:53 148 阅读

系统性能之网络篇（二）

1.域名及DNS介绍域名主要是为了方便让人记住，而 IP 地址是机器间的通信的真正机制。把域名转换为 IP 地址的服务，也就是域名解析服务（DNS），而对应的服务器就是域名服务器，网络协议则是 DNS 协议。域名以分层结构管理，比如www.baidu.com就分为三级。域名解析使用递归方式发送给每个层级域名服务器，直到解析结果。以下例分析+trace表示开启跟踪查询+nodns

.net

DNS

服务器

原创 2023-02-18 21:51:49 120 阅读 1点赞

系统性能之cpu 篇（五）

进程的不可中断状态是系统的一种保护机制，可以保证和硬件的交互过程不被意外打断。短时不可中断是正常的，长时间出于不可中断状态时，就得关注了。1.软中断概念现场场景分析：以定外卖为例，假如定了2分外卖，一份主食，一份饮料，并且由2个外卖员来配送。在手机上下的订单，每个外卖员都能通过留的方式联系到你。这会主食送到了，配送员跟你打电话，打的时间比较长，商量下发票的事情。在此时此刻，配送饮料的外卖员也到了

软中断

数据

nginx

原创 2023-02-16 11:57:01 119 阅读

系统性能之cpu 篇（四）

1.进程的几种状态$ top PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND28961 root 20 0 43816 3148 4040 R 3.2 0.0 0:00.01 top 620 root 20 0 37280 33676

子进程

僵尸进程

内核线程

原创 2023-02-15 18:02:28 185 阅读

系统性能之cpu 篇（三）

cpu使用率是单位时间内cpu使用情况的统计，以百分比方式展示。 1.工具分析cpu使用率高 1.1 top top显示系统总体cpu和内存使用情况，以及各个进程资源使用情况。第三行 %Cpu 就是系统的 CPU 使用率，top 默认显示的是所有 CPU 的平均值，这个时候你只需要按下数字 1 ，就可以切换到每个 CPU 的使用率。默认每3秒刷新一次$ toptop - 11:58:5

php

docker

nginx

原创 2023-02-15 16:15:53 198 阅读

系统性能之cpu 篇（二）

上文中关于进程在竞争cpu时并没有真正运行，为啥会导致系统负载升高呢？其实就是这篇文章要说的cpu上下文切换。其实Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。cpu上下文切换分为几个不同的场景，分别为进程上下文切换；线程上线文切换；中断上下文切

上下文切换

虚拟内存

寄存器

原创 2023-02-15 12:08:02 163 阅读

系统性能之cpu 篇（一）

1.平均负载是什么概念：平均负载指单位时间内，系统处于可运行状态和不可中断的平均进程数，和cpu使用率没有直接关系。2.平均负载为多少是合理的3.平均负载案例分析

cpu

原创 2023-02-14 17:16:58 139 阅读

自动化运维工具ansible概述（一）

1.ansible安装1.1shansible_v2.9.0_install.sh，具体定义。需要程序包请留言。1.2安装完后默认/etc/ansibe生成如下文件及文件夹ansible.cfg(ansible配置文件);hosts(远程主机及主机组管理);roles(角色文件);yml(自定义ansibleplaybook使用yml文件)1.3hosts定义组组内成员可以是ip地址也可以是主机名

配置文件

linux

自动化

原创 2021-11-18 22:38:32 187 阅读 1点赞

系统性能之网络篇（一）

1.网络性能指标1.1关注参数宽带，表示链路最大传输速率，b/s吞吐量，表示单位时间内成功传输的数据量。吞吐量受宽带限制，而吞吐量/宽带，也就是网络的使用率。延时，表示网络请求发出后，一直到收到远端响应，所需的时间延迟。可以表示，建立连接需要的时间（比如TCP握手延时），或一个数据包往返所需的时间。PPS,表示以网络包为单位的传输速率。PPS通常用来评估网络转发能力。linux服务器的转发，容易受

字节数

丢包

全连接

应用程序

原创 2021-11-18 11:53:07 588 阅读 1点赞

原生hadoop常见故障

1.下线一个datanode节点找到namenode节点配置文件/etc/hadoop/conf/hdfssite.xml文件如下选项：<property<namedfs.hosts.exclude</name<value/etc/hadoop/conf/hostsexclude</value</property修改hostsexclude文件在hostsexclude中添加需要下线的datano

hadoop

hdfs

xml文件

数据丢失

调度策略

原创 2021-11-16 17:46:34 1287 阅读 1点赞

大数据平台性能优化(二)

1.hdfs性能调优1.1hdfssite.xmldfs.replication此参数用来设置文件副本数，通常设为3，不推荐修改。这个参数可用来保障HDFS数据安全，副本数越多，越浪费磁盘存储空间，但数据安全性越高。dfs.block.size此参数用来设置HDFS中数据块的大小，默认为128M，所以，存储到HDFS的数据最好都大于128M或者是128的整数倍，这是最理想的情况，对于数据量较大的集

hdfs

hadoop

数据块

堆内存

数据安全

原创 2021-11-16 15:48:03 1290 阅读 1点赞

大数据平台性能优化(一)

1.yarn内存和性能调优(1)Resourcemanager堆内存大小，通过hadoop的yarnenv.sh中添加以下内容实现：exportYARN_RESOURCEMANAGER_HEAPSIZE=8192exportYARN_RESOURCEMANAGER_OPTS="serverXms\{YARN_RESOURCEMANAGER_HEAPSIZE}mXmx\{YARN_RESOURCEM

mapreduce

堆内存

参数配置

java

hadoop

原创 2021-11-16 14:41:39 3017 阅读 1点赞

lsync安装配置（目录同步）

主机列表：服务端：172.16.2.5/sense2目标端：172.16.2.4/sense1服务启动:/usr/bin/lsyncd/etc/lsyncd.conf服务关闭：ps-ef|greplsyncd|grep-vgrep|awk'{print$2}'|xargskilllsyncd优势：官网及virbox发版每次都是发布两个节点，发版了sense2,同时手动执行scp同步

lsync

原创 2019-09-11 11:00:04 4510 阅读

健壮又简单文件共享服务

官方语言介绍下ftp，文件传输协议（FileTransferProtocol，FTP）是用于在网络上进行文件传输的一套标准协议，FTP的目标是提高文件的共享性。今天从ftp的两种模式，ftp用户管理主要的两方面实践使用下。1.ftp两种模式简明直接：主动FTP：命令连接：客户端>1024端口--->服务器21端口数据连接：客户端>1024端口<---服务器20端口被动FTP

ftp

原创 2019-09-04 22:29:31 815 阅读 1评论

一次误删除libc.so.6后虚惊一场

1.libc.so.6介绍/usr/lib/libc.so.6是glibc的软链接，不同的平台可能路径会不一样。使用命令查看会看到：[root@farmer:~]$ls-l/lib/libc.so.6lrwxrwxrwx1rootroot11Jan122:23/lib/libc.so.6->libc-2.9.soglibc是gnu发布的libc库，即c运行库。glibc是linux系统中最底

内核

原创 2019-09-04 15:50:36 1224 阅读

自签名证书颁发及验证

1.使用openSSL生成证书一个根SSL证书是由颁发的证书信任的证书颁发机构（CA）。生成一个RSA-2048密钥并保存到一个文件rootCA.key。该文件将被用作生成根SSL证书的密钥。命令：opensslgenrsa-des3-outrootCA.key2048您可以使用您生成的密钥来创建新的根SSL证书。并将其保存为rootCA.pem。命令：opensslreq-x509-new-no

SSL

原创 2019-09-04 07:29:29 3589 阅读

jenkins+docker+gitlab+harbor+pipeline快速部署发版流程

介绍随着业务的增长，需求也开始增多，每个需求的大小，开发周期，发布时间都不一致。基于微服务的系统架构，功能的叠加，对应的服务的数量也在增加，大小功能的快速迭代，更加要求部署的快速化，智能化。因此，传统的人工部署已经心有余而力不足。持续集成，持续部署，持续交互对于微服务开发来说，是提高团队整体效率不可或缺的一环。合理的使用CI,CD能够极大的提高了生产效率，也提高了产品的交互质量。流程梳理：1.开发

自动化构建

原创 2019-08-29 11:05:14 6121 阅读 2点赞 2收藏

服务器遭木马rootkit不慌

1.介绍：rootkit是linux最常见的木马后门工具，主要通过替换系统文件达到特殊目的。主要有两种类型：文件级别和内核级别。2.现象及处理思路：(进程；计划任务；可疑文件)通过top,查看一条占用cpu将近300%的一条进程，进程名为vTtHH1，随后杀掉进程及进程的执行文件，过一会进程文件又出现，进程自动运行起来。怀疑有计划任务。检查/var/spool/cron/及/etc/crontab

原创 2019-08-28 19:34:30 821 阅读

docker容器管理及使用（完整版）

一，docker安装1、Docker版本社区版（CommunityEdition）：CE（常用）企业版（EnterpriseEdition）：EE2、Docker官网https://www.docker.com/3、Docker文档https://docs.docker.com以下以Centos7系统上的安装为例（环境需求在Centos7以上，目前Centos7.6是最新的）https://doc

docker

原创 2019-08-27 16:30:22 4768 阅读

挖矿蠕虫分析解决

系统安全

转载 2019-08-27 16:05:01 1391 阅读

为N台linux服务器传输大文件

1.服务端与客户端建立公钥及私钥信任关系。服务端作为原始文件存储地,ansible主机。2.相关脚本定义

自动化ansible

p2p

原创 2019-08-26 21:32:57 1412 阅读

线上nginx镜像构建及容器使用

1.Dockerfile-nginx文件内容:FROMcentos:latestMAINTAINERnanRUNyum-yinstallgccgcc-c++make\openssl-develpcre-develgd-devel\libxml2-devellibxslt-develzlib-devel\gd-develperl-ExtUtils-Embed\iproutenet-toolsteln

docker

原创 2019-07-09 11:59:52 594 阅读

线上redis镜像构建与容器使用

1.dockerfile-redis构建镜像FROMcentos:latestRUNyuminstallmakewgetcurlunzipiproutenet-toolsgcclibgccgcc-c++glibc-devel-y&&\yumcleanall&&\rm-rf/var/cache/yum/*RUN\cd/tmp&&\wgethttp://

docker

原创 2019-07-09 11:48:57 1096 阅读

线上tomcat 镜像构建及容器使用

1.Dockerfile-tomcat镜像构建FROMcentos:latestMAINTAINERNANENVVERSION=8.5.42RUNyuminstalljava-1.8.0-openjdkwgetcurlunzipiproutenet-tools-y&&\yumcleanall&&\rm-rf/var/cache/yum/*COPYapache-tom

docker

原创 2019-07-09 11:37:36 1085 阅读

记一次CLOSE_WAIT多的故障

问题:Cannotsend,channelhasalreadyfailed:tcp://ip:61616javax.jms.JMSException:Cannotsend,channelhasalreadyfailed:tcp://ip:61616应用连不上mq#解决方案:一,分析思路:1.现象:通过netstat查看与61616相关的连接状况,发现130多个CLOSE_WAIT2.是什么原因造成

故障

原创 2019-07-09 10:49:30 618 阅读

python中字符串变量操作示例

一.有变量name="aleXleNb"完成如下操作：name='aleXleNb'　#1)移除name变量对应的值两边的空格,并输出处理结果print(name.strip())#字符串去除两边空格的　#2)移除name变量左边的"al"并输出处理结果print(name.lstrip('al'))#去除字符串左边的内容3)

python

转载 2019-04-19 18:17:17 2874 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Anaui

goaccess 日志分析

系统性能之内存篇（二）

python并发编程

系统性能之内存篇（一）

系统性能之网络篇（三）

系统性能之网络篇（二）

系统性能之cpu 篇（五）

系统性能之cpu 篇（四）

系统性能之cpu 篇（三）

系统性能之cpu 篇（二）

系统性能之cpu 篇（一）

自动化运维工具ansible概述（一）

系统性能之网络篇（一）

原生hadoop常见故障

大数据平台性能优化(二)

大数据平台性能优化(一)

lsync安装配置（目录同步）

健壮又简单文件共享服务

一次误删除libc.so.6后虚惊一场

自签名证书颁发及验证

jenkins+docker+gitlab+harbor+pipeline快速部署发版流程

服务器遭木马rootkit不慌

docker容器管理及使用（完整版）

挖矿蠕虫分析解决

为N台linux服务器传输大文件

线上nginx镜像构建及容器使用

线上redis镜像构建与容器使用

线上tomcat 镜像构建及容器使用

记一次CLOSE_WAIT多的故障

python中字符串变量操作示例

欢迎