一、集群:

集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。

如果一个事情是由多个人去完成,则有着和集群类似的地方。大家共同承担着压力,如果有的人临时请假,其他的可以分担他的任务,事情不会因此耽搁。并且当他忙完自己的事情依然会分给他新的任务,不会因此断了节奏。而集群就是在模拟的做这样的事情,事实上大部分的公司也都是用集群在向用户提供服务。掌握集群,这对于我们做任何事情都是非常有益的。

二、认识zookeeper

ZooKeeper 顾名思义 动物园管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。

Zookeeper 从程序员的角度来讲可以理解为Hadoop的整体监控系统。如果namenode,HMaster宕机后,这时候Zookeeper 的重新选出leader。这是它最大的作用所在。

ZooKeeper还可以用作其他用途,例如:

数据发布与订阅(配置中心)
负载均衡
命名服务(Naming Service)
分布式通知/协调
集群管理与Master选举
分布式锁
分布式队列

二、配置zookeeper

首先我们需要有zookeeper的安装包,有需要的小伙伴可以私信我哟!!!

1.解压安装包到opt目录下

tar -zxvf zookeeper... -C/opt

解压完成后,在回到opt目录下查看是否存在,然后重命名

mv zookeeper..  zkpr

配置全局环境变量

vi /etc/profile

打开后,添加的代码如下:

export ZK_HOME=/opt/zookeeper-3.4.6
在path变量中的$PATH前面加上:$ZK_HOME/bin

配置完成后保存退出,
记住!!!一定要source一下,使其生效

source /etc/profile

切换到zkpr/conf目录下
查看并重命名

zoo_sample.cfg zoo.cfg

打开zoo.conf
修改如下内容(–表示要修改的内容,其他不变)

# The number of milliseconds of each tick
tickTime=2000
#最大访问数:不限制
maxClientCnxns=0    ---
# The number of ticks that the initial
# synchronization phase can take
#初始化最小进程数:50
initLimit=50   ---
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
#数据目录
dataDir=/opt/zkpr/zkdata ---
#日志目录
dataLogDir=/opt/zkpr/zklogs ---
# the port at which the clients will connect
clientPort=2181
#配置三台以上的奇数台可用机器主机名或者ip,注如果不配集群不需要添加以下内容,2888是通信端口,3888是选举通信端口
server.1=hadoop101:2888:3888  ---  (.后面 的数字跟Myid相同)
server.2=hadoop102:2888:3888  ---
server.3=hadoop103:2888:3888  ---

保存退出,切到zkpr目录下;
创建zkdata zklogs 文件夹;
进入到zkdata ,创建myid文件,输入对应机器主机名对应的server.后面的数字。

vi myid 输入数字保存,目的是为了选举;
把主机配置好的文件一同复制给克隆机。

scp /etc/profile root@克隆机名:/etc/profile
scp -r zkpr/ root@克隆机名:$PWD

三、启动zookeeper

启动命令:zkServer.sh start 关闭命令:zkServer.sh stop 验证方式: jps,如果出现QuorumPeerMain服务即成功启动了
注意:(如果不是在bin目录下,可以在启动命令前加入 ./bin)
另外,每台机器上执行zkServer.sh status查看每台机器的Zookerpeer状态,
正确的状态是只有一台机器是leader,其余机器都显示follower

hadoop zkfc 是哪个版本引入的_hadoop


hadoop zkfc 是哪个版本引入的_大数据_02