乐胖代购免代理版

hadoop设计思路和目标

本文主要是作者自己的学习过程，主要是对原文的翻译及理解，某些地方根据自己的理解，在表述上稍做些改动，以便更易于理解。官方原文hdfs与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别非常明显。HDFS是高度容错的，设计用于部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求，以支持对文件系统数据的流式访问。

hadoop

hdfs

翻译精选 2019-06-27 10:29:50 7266 阅读 1点赞 2收藏

通用部署框架universal-jk-deploy

universal-jk-deploy项目连接此项目的初衷是基于Jenkins和Ansible提供一套能兼容大多数应用场景的部署方案，提供一个统一的“配置界面”来完成大多数项目的部署工作，而无需关注底层脚本的实现。具体一点来讲：将打包或编译，服务的启停，服务在反向代理的摘除和重新加入等操作在底层脚本中予以组合，但是底层脚本不涉及到具体的服务启停命令或取值等，只提供逻辑框架。而描述项目部署的各种信息

部署

持续部署

jenkins

ansible

原创 2019-06-20 13:58:06 1804 阅读 1点赞

再谈Linux的ulimit

(测试系统Centos7)测试脚本[root@up01~]#cat/tmp/test_ulimit.pyimportsysdeftest_n():total=[]try:foriinrange(0,100000):total.append(open('/tmp/{}-{}'.format('jjkkll',i),'w'))exceptExceptionaserr:print(i,repr(err)

ulimit

linux

limit.conf

/etc/init.d/

原创 2019-05-09 23:10:21 4917 阅读 1点赞

换种思路解决Linux -> windows的自动部署

场景：有个项目用到了Windows服务器（运行jar包和.NET代码），如何集成到现有的自动部署平台（基于Linux）面临到两个问题1.如何将资源传从Linux传输到Windows上2.如何在windows上将程作为后台进程并于终端（cmdorpowershell）分离，实现类似Linux下nohup命令达到的效果对于问题1，一开始想寻找一款“windows版的sshd”程序，但是好像没找到比较官

windows后台运行

windows持续集成

powershell后台运行

windows nohup

windows flask

原创 2019-05-07 17:11:51 1582 阅读 1点赞 2收藏

linux netstat 总结

一、netstat不加参数输出如下（列出所有活动的链接）[root@test~]#netstatActiveInternetconnections(w/oservers)ProtoRecv-QSend-QLocalAddressForeignAddressStatetcp01test:45785162.221.13.80:301SYN_SENTtcp00test:sshlocalhost:sdcl

netstat

总结

原创 2019-05-05 22:47:51 3302 阅读

python随笔系列--import执行过程简单论证

结论：模块在一个python解释器（一次生命周期）中，一个模块只被引入一次验证过程ins01site-packages]#echo'print(11111)'>kai.pyins01site-packages]#echo-e'importkai\nprint(2222)'>yun.pyins01~]#python3>>>importyun111111122222>

python

import

import原理

原创 2019-03-19 21:45:42 1450 阅读

gzip和bzip压缩比以及压缩时间对比

对一个1G的日志文件进行压缩，整个压缩期间gzip和bzip2都能将1个核利用到100%。首先将该日志文件读入页面缓存：可以cat该文件也可以用vmtouch-t来实现先检查该文件已经在pagecache中[root@er01~]#vmtouch/serverInfo_2019-02-11_7.logFiles:1Directories:0ResidentPages:262145/2621451G

gzip压缩比

bzip压缩比

gzip bzip

实测结论

原创 2019-03-11 14:00:21 10000+阅读 1点赞

阿里云短信以及企业微信 python接口

python

阿里云短信

企业微信

原创 2019-03-06 14:37:34 1499 阅读 1点赞

理解ssh加密和链接过程

Inordertosecurethetransmissionofinformation,SSHemploysanumberofdifferenttypesofdatamanipulationtechniquesatvariouspointsinthetransaction.Theseincludeformsofsymmetricalencryption(对称加密),asymmetricalencr

ssh原理

ssh登陆过程

翻译 2019-03-06 11:41:23 870 阅读

Python实现具备元素唯一性的队列

直奔主题，在用多线程写一个爬虫项目时，很自然的想到用“生产者-消费者”模式，但是又想实现一个额外的需求，即如果爬虫爬到了队列中已存在的url，则不进行入队操作。想实现这个，大概面临两个问题：Queue对象不支持in操作即使1成立，如果在Queue对象外部通过ifiteminq这种形式也行不通，因为该过程无锁，多线程情况下就无法保证查询结果的准确性进而观察了一下queue模块的源代码，因为Queue

python

唯一队列

queue元素唯一

原创 2019-03-05 16:06:10 2211 阅读 1点赞

pymysql的连接池实现

在使用pymysql作为MySQL驱动时，在多线程模型下，如果我们没有为每个线程创建一个单独的连接的话，就会遇到下列错误pymysql.err.InternalError:Packetsequencenumberwrong-got0expected1这是因为pymysql的threadsafety级别为1:Threadsmaysharethemodule,butnotconnections.但是为

pymysql连接池

pymysql

连接池

原创 2019-03-05 16:00:31 5972 阅读

python随笔系列--多进程多线程并发度初探

大家都知道python中由于GIL这把大锁的存在，导致python的多线程并不是真正的多线程（不同于java等语言）。首先了解下GIL导致的现象：同一时间只能有一个线程占有python解释器（或者，同一时刻只有一个线程对共享资源进行存取）；而多进程不受GIL的影响是因为：每个fork的进程有一个单独的GIL。关于GIL的详细内容请自行延申推荐参考。接下来用一个如下的函数（纯计算，不涉及I/O）放到

多进程

多线程

GIL

原创 2019-03-05 14:51:57 985 阅读

在linux crontab中执行python脚本中文字符集问题

问题：写好的python脚本，直接在命令行执行没问题，放到crontab内却在脚本中输出中文的地方报错print('{}{}\u5904\u7406\u81f3{}'.format(time.strftime('%H:%M:%S',time.localtime()),log,line_result[3]))UnicodeEncodeError:'ascii'codeccan'tencodechar

crontab

环境变量

原创 2019-03-05 13:56:43 2290 阅读

python随笔系列--global和nonlocal关键字

global函数外部定义的变量（即global范围），在函数内部可以引用，但是不能修改。如果函数中要使用一个外层（这里是global）的变量，若函数内部使用global标记该变量，那么在函数内尽可以“读取”该变量；若要在函数内修改该global变量，则需要用global语句，函数对该变量的修改也会体现到global作用域。>>>oo=123>>>defkai()

python基础知识

global

nonlocal

全局变量

原创 2019-03-05 13:48:45 4969 阅读

ProxySQL--灵活强大的MySQL代理层

本文是我在学习和验证ProxySQL的过程中，从初识（对其机制猜想或凭几次命令的结果臆断其原理），到逐渐深入（模拟各种场景测试、抓包分析、与作者交流）过程中的思路和方法和结论的记录。笔者初识proxysql的时候是1.2.1版本，现在几经演进，已经到了1.4.1版本，本文也几经修改，力求跟得上软件的最新进度。ProxySQL项目网址一、亮点几乎所有的配置均可在线更改（其配置数据基于SQLite存储

proxysql

mysql

代理

原创精选 2019-03-01 14:17:10 10000+阅读 1点赞 3收藏

Python中的元编程

就像元数据是关于数据的数据一样，元编程是编写程序来操作程序（Justlikemetadataisdataaboutdata,metaprogrammingiswritingprogramsthatmanipulateprograms）。一个常见的看法是元编程是用来成成其他程序的程序，但是实际上它的含义更为广泛（It'sacommonperceptionthatmetaprogramsare

Python

python元编程

metaclass

metaprogramming

元类

翻译 2018-05-11 15:12:56 1648 阅读 2点赞

如何设置innodb_log_file_size

在这片文章中，我会提供一些关于如何设置MySQL的innodb_log_file_size参数的一些建议。跟其他数据库管理系统一样，MySQL通过日志来实现数据的持久性（在使用InnoDB存储引擎的前提下）。这确保了当一个事务提交后，其相关数据在崩溃或者服务器掉电的情况下不会丢失。MySQL的InnoDB存储引擎使用一个指定大小的Redolog空间（一个环形的数据结构）。Redolog的空间通过i

innodb_log_file_siz

redo log

mysql

翻译 2018-05-08 16:41:42 2666 阅读 2点赞

ProxySQL Query Rewrite 使用示例

在这篇文章中，我将重新探究ProxySQL中的QueryRewrite功能，因为queryrewriting是创建ProxySQL的最根本初衷。为什么我们需要重写查询？你已经确定了一个触发性能瓶颈或导致系统缓慢的查询你无法（快速的）修改应用代码某些特殊的操作需要“重定向查询”这儿举例你作为DBA发现了一个“坏查询”，你确认是它导致了服务缓慢，并且可能会导致服务不可用。那这个查询必须被优化，你和开发

ProxySQL

query rewrite

翻译 2018-05-07 15:55:57 3394 阅读 2点赞

记一次APP和DB间流量异常问题的排查

###情景通过zabbix监控发现有一个应用和数据库之间存在不定时的流量异常（也不频繁），具体为应用server的入向流量和数据库server的出向流量会有短时间（通常在一分钟左右）的激增，甚至快达到千兆网卡的传输上限。###分析过程通过症状，几乎可以断定是由于某些sql语句需要返回大量数据导致。但这次问题的分析结果确是很不顺利（其中有我前期方法不当的原因）。初次分析：因为在那之前做了一个针对于故

异常流量

分析

tcpdump

原创精选 2018-03-02 10:49:28 2893 阅读 2点赞 1收藏

为MySQL设置安全的远程连接

需求：开发、测试部门需要对准生产和生产数据库进行远程访问。有一阵子，是直MySQL层面接授予最小权限，并限制只允许从公司出口ip访问；iptables层面也是针对数据库端口只允许公司出口ip访问。但是这个样子终究觉得不够放心。后来研究了下MySQL的登录过程（wireshark抓包和参考官方文档），虽然说MySQL实现的登录机制（这里有机会单独说）基本不存在泄露密码的风险（理论上存在被破解的可能，

mysql

安全

ssh

原创 2018-03-02 10:46:19 2904 阅读 1点赞

一款短小精悍的日志分析工具web_log_analyse

日志分析

性能分析

故障分析

log analyse

web log

原创精选 2018-03-02 10:43:37 10000+阅读 5点赞 2收藏 3评论

drbd+keepalived nfs高可用方案实践

实验环境系统CentOS6.5X64Ip：172.16.25.162172.16.25.163epel源每台主机有/dev/sdb1:1073MB挂载点/test供drbd使用先升级nfs先关组件：yumupdatenfs-utilsnfs-utils-libnfs4-acl-toolsyumupdaterpcbind一、安装配置安装配置drbd：[root@master~]#wgethttp:/

方案

nfs

高可用

原创 2017-12-19 22:35:52 1781 阅读

linux查看某个ip流量--思路一例

在我之前的文章中分享过“实时”查看Linux某些网卡流量的小脚本，今天再分享一个查看本机到具体某个ip间的流量的思路。我有这个需求是因为：我们的存储是Dell存储设备通过nfs协议供多台业务机挂载使用，而我有必要了解每台机器和Dell存储之间的流量。其实，如果仅仅是要看这个流量，iftop这个软件就很好，通过其自身的选项就能满足了，不需要再做什么额外的工作。

iftop

服务器流量监控

nfs挂载点流量

到指定server流量监控

原创精选 2016-08-18 22:15:37 10000+阅读 2点赞 1收藏 3评论

Python实现跨平台运维小神器

python

paramiko

批量命令

paramiko实现文件上传下载

原创精选 2016-07-30 22:25:47 10000+阅读 4点赞 2收藏

Python实现MySQL DBA小工具一例

我们知道MySQL所有的运行状态统计信息都能从“show global status”语句的结果集中查看，该结果集保存的是从MySQL启动到当前时间之间各状态值的“总数”，对我们的分析不友好。在我们日常维护和优化中，我们需要持续的跟踪某些状态值的的变化（增量或者是平均值）；或者是在调整某些参数后，观察某些状态值的变化是否符合我们预期等等。基于以上这些需求，作者用Pyth

mysql

dba

小工具

原创推荐 2016-06-06 15:10:04 5345 阅读 5点赞 3收藏

查看Linux服务器网卡流量小脚本shell和Python各一例

有时我们需要较为实时的查看服务器上的网卡流量，这里我写了两个小脚本，一个用shell（先写的，一次只能查看一个网卡），另一个用Python（后写的，一次可查看多个网卡）。脚本中都用了while true“死循环”，每隔10s从“/proc/net/dev”中取一次值并根据10s内的差值计算10s内的平均带宽；按ctrl+c停止执行。脚本兼容centos6和7两个脚本都不太复杂，而且脚

Linux

网卡流量

原创推荐 2016-05-26 16:52:53 5886 阅读 10点赞 10收藏 7评论

利用zabbix生成awstats日志分析图表并用Python调用zabbix API批量添加item

将awstats与zabbix结合起来，通过zabbix实现awstats分析结果的图表化；通过Python操作zbx API实现自动化操作

接口

zabbix

原创推荐 2016-05-11 21:03:40 3819 阅读 3点赞 5收藏

awstats CGI模式下动态生成页面缓慢的改进

本文可以看做是多server多站点情况下awstats日志分析这篇文章的下篇，在使用过程中发现awstats在cgi模式下动态生成分析报告慢的问题（尤其是有些站点每天两个多G的日志，查看起来简直是在考验人的耐性），本文分享一种改造这个缺点的思路。首先再来总结下awstats的处理过程以及查看分析结果的两种方式，来看官方版说明:Process logs: Building/updating s

awstats

awstats 生成页面慢

awstats cgi模式

awstats改进

原创推荐 2016-05-04 18:37:10 2934 阅读 1收藏

基于sysbench-0.5的MySQL自动化压测及分析出图

基于sysbench对mysql进行自动化压测并分析出图的shell脚本

mysql自动化压测

sysbench 0.5 OLTP

mysql 基准测试

原创推荐 2016-03-03 16:51:21 10000+阅读 4点赞 1收藏

基于pt-query-digest的慢查询日志持续追踪

percona-toolkit被称为MySQL DBA的“瑞士***”，其强大性不言而喻。而其中的慢查询分析工具“pt-query-digest”相比官方的“mysqldumpslow”提供了很多额外的属性，例如灵活的过滤器，基于库和表的分析排序等等。今天分享一例基于“pt-query-digest”和邮件自动追踪MySQL慢查询日志的小脚本，同时避免对同类型的sql语

mysql慢查询

mysql 慢查询追踪

pt_query_digest

mysql慢查询自动分析

原创推荐 2016-02-25 15:19:36 3124 阅读 2点赞 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

奋进的K

hadoop设计思路和目标

通用部署框架universal-jk-deploy

再谈Linux的ulimit

换种思路解决Linux -> windows的自动部署

linux netstat 总结

python随笔系列--import执行过程简单论证

gzip和bzip压缩比以及压缩时间对比

阿里云短信以及企业微信 python接口

理解ssh加密和链接过程

Python实现具备元素唯一性的队列

pymysql的连接池实现

python随笔系列--多进程多线程并发度初探

在linux crontab中执行python脚本中文字符集问题

python随笔系列--global和nonlocal关键字

ProxySQL--灵活强大的MySQL代理层

Python中的元编程

如何设置innodb_log_file_size

ProxySQL Query Rewrite 使用示例

记一次APP和DB间流量异常问题的排查

为MySQL设置安全的远程连接

一款短小精悍的日志分析工具web_log_analyse

drbd+keepalived nfs高可用方案实践

linux查看某个ip流量--思路一例

Python实现跨平台运维小神器

Python实现MySQL DBA小工具一例

查看Linux服务器网卡流量小脚本shell和Python各一例

利用zabbix生成awstats日志分析图表并用Python调用zabbix API批量添加item

awstats CGI模式下动态生成页面缓慢的改进

基于sysbench-0.5的MySQL自动化压测及分析出图

基于pt-query-digest的慢查询日志持续追踪

欢迎