一、安装需求


安装java 1.6及hadoop 0.20.x



二、安装zookeeper


1、下载zookeeper


wget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz(本次安装3.4.3版本)


其他版本下载地址(最好使用stable版本):http://zookeeper.apache.org/releases.html



2、解压



tar -xf zookeeper-3.4.3.tar.gz



将解压后的zookeeper-3.4.3文件放在系统的/home/hadooptest/中。



3、将zookeeper-3.4.3/conf目录下的zoo_sample.cfg文件拷贝一份,命名为为“zoo.cfg”



4、修改zoo.cfg配置文件


修改zoo.cfg内容为:


# The number of milliseconds of each tick 
 
 
 

   tickTime=2000 
 
 
 

   # The number of ticks that the initial  
 
 
 

   # synchronization phase can take 
 
 
 

   initLimit=10 
 
 
 

   # The number of ticks that can pass between  
 
 
 

   # sending a request and getting an acknowledgement 
 
 
 

   syncLimit=5 
 
 
 

   # the directory where the snapshot is stored. 
 
 
 

   # do not use /tmp for storage, /tmp here is just  
 
 
 

   # example sakes. 
 
 
 

   dataDir=/home/hadooptest/zookeeper-3.4.3/zookeeperdir/zookeeper-data 
 
 
 

   dataLogDir=/home/hadooptest/zookeeper-3.4.3/zookeeperdir/logs 
 
 
 
 
  
 
 

   # the port at which the clients will connect 
 
 
 

   clientPort=2181 
 
 
 

   # 
 
 
 

   # Be sure to read the maintenance section of the  
 
 
 

   # administrator guide before turning on autopurge. 
 
 
 

   # 
 
 
 

   # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance 
 
 
 

   # 
 
 
 

   # The number of snapshots to retain in dataDir 
 
 
 

   #autopurge.snapRetainCount=3 
 
 
 

   # Purge task interval in hours 
 
 
 

   # Set to "0" to disable auto purge feature 
 
 
 

   #autopurge.purgeInterval=1 
 
 
 
 
  
 
 

   # 2888,3888 are election port 
 
 
 

   server.1=zookeeper:2888:3888


其中,2888端口号是zookeeper服务之间通信的端口,而3888是zookeeper与其他应用程序通信的端口。而zookeeper是在hosts中已映射了本机的ip。


initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒。


syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒。


server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。



5、创建dataDir参数指定的目录(这里指的是“ /home/hadooptest/zookeeper-3.4.3/zookeeperdir/zookeeper-data”),并在目录下创建文件,命名为“myid”。



6、编辑“myid”文件,并在对应的IP的机器上输入对应的编号。如在zookeeper上,“myid”文件内容就是1。由于本次只在单点上进行安装配置,所以只有一个server.1。若还有其他服务器,比如地址为192.168.1.102,则在zoo.cfg文件中还需加入server.2=192.168.1.102:2888:3888。那么myid文件在192.168.1.102服务器上的内容就是2。


至此,如果是多服务器配置,就需要将zookeeper-3.4.3目录拷贝到其他服务器,然后按照上述的方法修改myid。



7、在/etc/profile文件中设置PATH


修改profile文件:


sudo vi /etc/profile 

 
 
 
 

   export ZOOKEEPER_HOME=/home/hadooptest/zookeeper-3.4.3 
 
 
 

   PATH=$ZOOKEEPER_HOME/bin:$PATH 
 
 
 

   export PATH


8、安装完毕



三、启动并测试zookeeper


1、在所有服务器中执行:zookeeper-3.4.3/bin/zkServer.sh start



2、输入jps命令查看进程:


namenode上显示为(本次为单机配置):


7724 DataNode 
 
 
 

   19769 HMaster 
 
 
 

   7485 NameNode 
 
 
 

   8064 JobTracker 
 
 
 

   19361 QuorumPeerMain 
 
 
 

   8323 TaskTracker 
 
 
 

   7972 SecondaryNameNode 
 
 
 

   21691 Jps 
 
 
 

   19988 HRegionServer


其中,QuorumPeerMain是zookeeper进程,启动正常。(HMaster和HRegionServer为已启动的hbase进程,其他为安装hadoop后启动的进程)



3、查看状态:zookeeper-3.4.3/bin/zkServer.sh status


JMX enabled by default



Using config: /home/hadooptest/zookeeper-3.4.3/bin/../conf/zoo.cfg



Mode: standalone



4、启动客户端脚本:zookeeper-3.4.3/bin/zkCli.sh -server zookeeper:2181


WatchedEvent state:SyncConnected type:None path:null 
 
 
 

   [zk: zookeeper:2181(CONNECTED) 0]  
 
 
 

   [zk: zookeeper:2181(CONNECTED) 0] help 
 
 
 

   ZooKeeper -server host:port cmd args 
 
 
 

           connect host:port 
 
 
 

           get path [watch] 
 
 
 

           ls path [watch] 
 
 
 

           set path data [version] 
 
 
 

           rmr path 
 
 
 

           delquota [-n|-b] path 
 
 
 

           quit  
 
 
 

           printwatches on|off 
 
 
 

           create [-s] [-e] path data acl 
 
 
 

           stat path [watch] 
 
 
 

           close  
 
 
 

           ls2 path [watch] 
 
 
 

           history  
 
 
 

           listquota path 
 
 
 

           setAcl path acl 
 
 
 

           getAcl path 
 
 
 

           sync path 
 
 
 

           redo cmdno 
 
 
 

           addauth scheme auth 
 
 
 

           delete path [version] 
 
 
 

           setquota -n|-b val path 
 
 
 

   [zk: zookeeper:2181(CONNECTED) 1] ls / 
 
 
 

   [hbase, zookeeper] 
 
 
 

   [zk: zookeeper:2181(CONNECTED) 2]



5、停止zookeeper进程:zookeeper-3.4.3/bin/zkServer.sh stop



参考:


http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html


http://space.itpub.net/8183550/viewspace-683571



============


可能出现NumberFormatException for input string "...zoo.cfg"


修改zkServer.cmd


java "-Dzookeeper.log.dir=%ZOO_LOG_DIR%" "-Dzookeeper.root.logger=%ZOO_LOG4J_PROP%" -cp "%CLASSPATH%" %ZOOMAIN% "%ZOOCFG%"