李振良_阿良的博客_python,Linux,K8S,DevOps,Web & DB,Linux,Shell(4)_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Ganglia监控Hadoop与HBase集群

以下基于上篇Hadoop2.6与HBase1.0集群架构：http://lizhenliang.blog.51cto.com/7876557/1665130http://lizhenliang.blog.51cto.com/7876557/1661354 Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比

ganglia   hadoo
原创 2015-06-30 10:56:42 6700 阅读 5点赞 1收藏 3评论

基于Hadoop数据仓库Hive1.2部署及使用

以下基于上篇Hadoop2.6集群部署：http://lizhenliang.blog.51cto.com/7876557/1661354接下来安装Hadoop数据仓库Hive，上节了解HBase简单使用，听起来HBase与Hive有些类似，概念也有点模糊，那我们先了解下他们之间有什么区别：  HBase是一种分布式、面向列的NoSQL数据库，基于HDFS存储，以表的形式存储数据，表由行

hive hadoop 数据仓库
原创 推荐 2015-06-26 13:52:59 10000+阅读 3点赞 2收藏

基于Hadoop分布式数据库HBase1.0部署及使用

以下基于上篇Hadoop2.6集群部署：http://lizhenliang.blog.51cto.com/7876557/1661354接下来部署HBase1.0分布式NoSQL数据库，HBase中涉及到HMaster和HRegionServer两个概念。（注：以下概念来着百度百科）HMaster主要负责Table和Region管理工作：  1. 管理用户对Table的增、删、改、查操

hadoop+hbase hbase1
原创 2015-06-24 16:47:49 4292 阅读 2点赞 2评论

中小型网站架构分析及优化

先看网站架构图：以上网站架构广泛运用中大型网站中，本文从架构每一层分析所用主流技术和解决手段，有助于初入网站运维朋友们，进一步对网站架构认识，从而自己形成一套架构概念。第一层：CDN  国内网络分布主要南电信北联通，造成跨地区访问延迟大问题，对于有一定访问量网站来说，增加CDN（内容分发网络）层可有效改善此现象，也是网站加速的最好选择。CDN把网站页面缓存到全国分布的节点上，用户访问时从

apache和nginx优化  
原创 2015-06-23 13:50:35 10000+阅读 7点赞 6收藏

Hadoop2.6(NN/RM)高可用集群安装与部署

 Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署及使用。一、部署前准备操作系统：CentOS7_x64安装目录：/opt1. 节点分配Ho

hdfs ha   yarn
原创 推荐 2015-06-12 17:05:21 8970 阅读 5点赞 3收藏

运维角度浅谈MySQL数据库优化

  一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段：1、数据库表设计  项目立项后，开发部根据产品部需求开发项目，开发工程师工作其中一部分就是对表结构设计。对于数据库来说，这点很重要，如果设计不当，会直接影响访问

mysql优化   mysq
原创 推荐 2015-06-02 14:22:02 10000+阅读 56点赞 14收藏 37评论

linux系统缓存机制

1、缓存机制  为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当

free -m   &#160
原创 2015-06-02 13:23:38 9578 阅读 2点赞 3收藏

Redis配置文件详解（redis.conf）

# vi redis.confdaemonize yes #是否以后台进程运行pidfile /var/run/redis/redis-server.pid    #pid文件位置port 6379#监听端口bind 127.0.0.1   #绑定地址，如外网需要连接，设置0.0.0.0timeout 300     #连接超时时间，单位

redis redis.conf
原创 2015-05-29 13:49:46 10000+阅读 1点赞 4收藏

Keepalived集群软件高级使用(工作原理和状态通知)

1、介绍   Keeaplived主要有两种应用场景，一个是通过配置keepalived结合ipvs做到负载均衡（LVS+Keepalived），有此需求者可参考以往博文：http://lizhenliang.blog.51cto.com/7876557/1343734。另一个是通过自身健康检查、资源接管功能做高可用（双机热备），实现故障转移。  以下内容主要针对Ke

notify
keepalived
notify_master
原创 推荐 2015-05-21 15:50:39 10000+阅读 5点赞 1收藏 1评论

Ubuntu14.04快速搭建SVN服务器及日常使用

1、介绍  Subversion是一个自由，开源的版本控制系统，这个版本库就像一个普通的文件服务器，不同的是，它可以记录每一次文件和目录的修改情况。这样就可以很方面恢复到以前的版本，并可以查看数据更改细节。目前，Subversion已成为主流的开源代码版本管理软件之一，简称SVN。2、SVN相关命令了解  svn：命令行客户端  svnadmin：用来创建、调整或修复

svn
ubuntu
subversion
原创 推荐 2015-05-16 11:49:01 3927 阅读

linux工具之curl与wget高级使用

1、curl（文件传输工具）常用参数如下：-c，--cookie-jar：将cookie写入到文件-b，--cookie：从文件中读取cookie-C，--continue-at：断点续传-d，--data：http post方式传送数据-D，--dump-header：把header信息写入到文件-F，--from：模拟http表达提交数据-s，--slient：减少输出信息-o，--outpu

linux
wget
curl
原创 推荐 2015-05-12 15:50:42 10000+阅读 1点赞 3收藏 1评论

Python监控主机是否存活,并发报警邮件

  利用python写了简单测试主机是否存活脚本，此脚本不适于线上使用，因为网络延迟、丢包现象会造成误报邮件，那么后续会更新判断三次ping不通后再发报警邮件，并启用多线程处理。#!/usr/bin/env python # coding:UTF-8 import time import pexpect import smtpl

python
smtplib
监控主机
原创 2015-05-08 17:12:31 5569 阅读 2收藏

Rsync+Inotify实现数据实时同步

1、环境及相关软件介绍操作系统：Ubuntu12.04_x64源服务器（推送）：192.168.18.10目标服务器（备份）：192.168.18.20rsync：  rsync是unix系统下的数据镜像备份工具，是一款快速增量备份工具（远程同步），支持本地复制，或者与其他SSH（安全传输）、rsync主机同步。rsync有以下常用的参数：    -v，--

rsync
inotify
数据实时同步
原创 推荐 2015-04-24 13:50:45 3001 阅读 2点赞 3收藏 4评论

一台MySQL数据库启动多个实例

一台数据库服务器为什么运行多个实例？有一台MySQL数据库服务器硬件利用率往往在30%左右，那剩余的70%岂不是浪费了，这时就可以考虑运行多个MySQL服务，你可以做主从架构，读写分离，数据库隔离，容纳更多的并发链接，充分利用硬件资源，让服务器性能发挥最大化。1、编译安装MySQL5.5# yum install -y cmake gcc 

mysql
启动多实例
原创 推荐 2015-04-20 14:22:01 10000+阅读 4点赞 5收藏 1评论

Percona Xtrabackup快速备份MySQL

   老规矩，开场白，刚开始用mysqldump，备份100G+的数据库，再加上服务器繁忙，备份速度像蜗牛似的，于是寻找更高效的备份方法。网上都说用xtrabackup比较适合备份大的数据库，而且备份效率也高，就尝试使用一次，结果明显感觉比mysqldump备份与恢复速度就是快不少，那以后就用它了。大礼拜日的在家也没事，结合生产环境，写了这篇文档，刚接触的朋友，可以参考下，不多

备份
mysql
xtrabackup
innobackup
原创 推荐 2015-02-08 16:42:21 10000+阅读 6点赞 6收藏 1评论

linux发送邮件使用外部邮箱

    一般Linux发送报警邮件通过本地邮箱或外部邮箱服务器，我习惯使用本地邮箱发邮件，装个Sendmail安装启动，即可实现发送邮件功能，但会存在两个问题：1、发件人默认显示主机名，有的会被邮件服务商当垃圾邮件处理，也可以使用mutt定义发件人解决这个问题，要麻烦一下。2、发件延迟，正常的话，一分钟之内可以收到，延迟大的话，几个小时收不到也很正常，这样一

发送邮件
linux
mailx
原创 2015-02-07 14:23:00 6681 阅读 1点赞 1收藏 1评论

Shell脚本监控CPU、内存和硬盘利用率

1、监控CPU利用率（通过vmstat工具）#!/bin/bash #==================================================== # Author: lizhenliang - EMail:zhenliang369@163.com # Create Date: 2015-02-01

vmstat
cpu利用率
shell监控
原创 2015-02-01 11:06:37 10000+阅读 3收藏

Shell脚本监控WEB服务是否正常

Step1.安装sendmail来发邮件# yum -y install sendmail# /etc/init.d/sendmail start# chkconfig sendmail onStep2.安装mutt邮件客户端，并设置相关信息# yum -y install mutt# vim /etc/Muttrc  set charset="utf-8"   &n

监控网站
Shell脚本
监控WEB
原创 推荐 2015-02-01 10:24:24 4981 阅读 3点赞 3收藏

Shell判断输入是否有效IP和字母

1、需求目的    最近在研究ansible自动化工具，在主机表（/etc/ansible/hosts）添加管理节点信息时，几台到十几台还可以手动添加，到了百十台工作量就大了。于是想用脚本自动添加，减少工作量，刚开始想到for循环自动添加，但添加的IP、用户、密码，都不相同，实现起来比较困难，也没太多时间去研究，结果就用了手动交互输入。用户信息表如下格式：# cat /etc/

shell
判断输入是否有效IP
原创 2015-02-01 09:53:27 4492 阅读 2收藏

Apache(mod_proxy)+Tomcat负载均衡配置

   要想使用Apache做反向代理，实现Tomcat负载均衡，首先你要知道有几种连接方式，怎样连接的，还有集群方面比较关心的问题，如何保持Session持久化。原来部署过mod_jk方式的，相对http_proxy比较复杂点，这次就部署测试下http_proxy，因为本公司大多数系统都是Ubuntu，所以这次也用Ubuntu系统吧！与CentOS相比配置基本相同，只是apac

tomcat
apache+tomcat
mod_proxy
原创 2015-01-29 16:54:27 2897 阅读 1点赞 3收藏

Java VisualVM远程监控JVM

    VisualVM是一个以监控、显示本地或者远程服务器JVM工作情况，进行性能调优的工具。借助VisualVM，我们可以实现对JVM内存各个子池、CPU、垃圾收集器等方面进行监控，从而发现程序代码中潜在的泄露点和配置问题。远程监控Linux JVM有两种连接方式：CentOS6.5安装：yum install java-1.8.0-openjdk&nb

jconsole
jvisualvm
原创 2015-01-25 09:47:15 10000+阅读 1点赞 2收藏 3评论

linux免交互登陆远程主机并执行命令(密钥对和Expect)

Linux下实现免交互登陆一般有两种：1. SSH无密码认证方式    客户端使用ssh-keygen生成密钥对，将公钥复制到服务端（authorized_keys），SSH提供公钥登陆，当SSH访问服务端时，服务端先在本机寻找客户端的公钥，然后把客户端发来的公钥进行比较，如果一致，则用公钥加密给客户端，客户端再用私钥进行解密，实现加密所有传输的数据。1>.在客户机上创建

ssh免交互登陆
expect免交互登陆
原创 推荐 2015-01-24 17:31:01 10000+阅读 5点赞 6收藏 7评论

Tomcat导出图片中文乱码

Tomcat程序运行的JAVA程序，在导出图片时，会出现中文乱码，也给Tomcat server.xml中指定URIEncoding="UTF-8"参数了，也无效。这是因为Tomcat在处理程序时请求的是系统字体，所以必须系统有中文字体才可以正常处理中文。像cutycapt、html2image等网站页面截图工具，也会出现这样的乱码问题。类似于下面：1、在/usr/share/

Ubuntu
msyh.ttf
安装中文字体
原创 2015-01-07 22:20:32 3594 阅读 1收藏

CentOS6.5自动化安装LAMP脚本

#!/bin/bash #date:2014-8-31 #blog:lizhenliang.blog.51cto.com ########## function ########## depend_pkg () {     yum install gcc gcc-c++ make 

脚本
lamp
一键安装lamp
原创 2014-08-31 19:04:10 2179 阅读 6点赞 3收藏 10评论

Shell脚本Ping监控主机是否存活并发邮件报警(三种方法)

#前提已经可以通过mail或mutt客户端发邮件1.先安装sendmail来发邮件  # yum -y install sendmail   # /etc/init.d/sendmail start   # chkconfig sendmail on

批量Ping主机
原创 2014-08-02 21:26:51 5946 阅读 3点赞 3收藏 3评论

快速学习MySQL SQL语句

须知：SQL语言：结构化查询语言，是关系型数据库查询语言的标准，不同的数据库虽然有自己私有扩展，但关键词都支持：（select、update、delete、insert、where）SQL语句分类：像Oracle、MSSQL都是通用的DDL：数据定义语言（create、alter、drop、rename）DML：数据库维护语言（select、insert、update、delete）DCL：数据库

mysql
sql语句
原创 2014-07-13 22:33:20 2758 阅读 3点赞 2评论

Oracle 11gR2学习之三（创建用户及表空间、修改字符集和Oracle开机启动）

一、创建用户及表空间1.连接数据库[root@localhost ~]# su - oracle[oracle@localhost ~]$ sqlplus /nolog   #进入sqlplus环境[oracle@localhost ~]$ conn / as sysdba2.创建表空间#指定表空间存放位置，磁盘限额SQL> create tablespace test dataf

oracle
空间
创建表
原创 2014-06-10 18:19:32 3833 阅读 1点赞 1收藏

企业Java应用服务器之JBoss7.1与Apahce整合

为什么使用Jboss？1、Jboss支持热部署，将归档后的JAR、WAR文件到部署目录下自动加载部署，自动更新。2、在高并发访问时，性能比Tomcat更加优秀、高效。3、Jboss在设计方面与Tomcat相比，进行了线程池和连接池的优化。4、Jboss已经成为Java中间件的一个企业级的Web应用，Tomcat是轻量级应用，作为Java开发调试环境使用广泛。5、配置简单，占用系统资源少。Jboss

jboss7.1   apa
原创 推荐 2014-03-18 23:28:03 2958 阅读 4点赞 4评论

Iptables小总结

信息包过滤过程：1、iptables四表五链四个表：filter：用于过滤nat：用于nat功能（端口映射，地址映射等）mangle：用于对特定数据包的修改raw：一般不让iptables做数据包的链接跟踪处理五个链：INPUT：匹配目的地址为本机的OUTPUT：向外转发的FORWARD：需要经过本机的数据包PREROUTING：路由前，用于修改目的地址（DNAT）POSTROUTING：路由后，

iptables snat dnat
原创 2014-03-11 14:00:00 3293 阅读 3收藏

LVS、Nginx和HAProxy负载均衡器对比总结

LVS特点：1.抗负载能力强，使用IP负载均衡技术，只做分发，所以LVS本身并没有多少流量产生；2.稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived）3.应用范围比较广，可以对所有应用做负载均衡；4.不支持正则处理，不能做动静分离。常用四种算法：1.rr：轮叫，轮流分配到后端服务器；2.wrr：权重轮叫，根据后端服务器负载情况来分配；3.lc：最小连接，分配已建立连接最少

lvs nginx haproxy 负载
原创 2014-03-09 16:56:59 2917 阅读 1点赞 2收藏

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯