ookeeper客户端命令及Java操作zk的客户端
- Zookeeper体系结构、数据模型
- 1、zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集 群之间的数据的事务性一致、
- 2 zookeeper有watch事件,是一次性触发的,当watch监视的数据发生变化时,通 知设置了该watch的client,即watcher
- 3 zookeeper有三个角色:Learner,Follower,Observer
- 4 zookeeper应用场景:
- zookeeper客户端
- 命令行操作zookeeper
- zookeeper的节点
- 1、持久节点(persistent)
- 2、临时节点(ephemeral)
- zookeeper的zoo.cfg详解
- tickTime: 服务器之间或客户端与服务器之间维持心跳的时间间隔,
- dataDir:存储内存中数据库快照的位置,顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
- clientPort: 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
- initLimit: 这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,
- syncLimit: 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,
- server.A = B:C:D
- Java客户端操作zookeeper
- 1、 java 操作zookeeper(与zk创建连接)
- 2、java 操作zookeeper(创建节点(znode)方法,create)
- 同步方式:
- java 操作zookeeper 异步方式:(在同步基础上增加两个参数)
- 3、 java 操作zookeeper(删除节点:delete方法)
- 同步方式:
- 异步方式:
- 4、 java 操作zookeeper(子节点列表获取和子节点数据的获取,getChildren)
- 5、java 操作zookeeper(检测节点是都存在
- 示例代码
- 代码示例总结:
Zookeeper体系结构、数据模型
1、zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集 群之间的数据的事务性一致、
2 zookeeper有watch事件,是一次性触发的,当watch监视的数据发生变化时,通 知设置了该watch的client,即watcher
3 zookeeper有三个角色:Learner,Follower,Observer
4 zookeeper应用场景:
统一命名服务(Name Service)
配置管理(Configuration Management)
集群管理(Group Membership)
共享锁(Locks)
队列管理
zookeeper客户端
命令行操作zookeeper
zkCli.sh 进入zookeeper客户端
根据提示命令进行操作:
查找:ls / ls /zookeeper
创建并赋值:create /bhz hadoop
获取:get /bhz
设值:set /bhz baihezhuo
从zookeeper01、zookeeper02、zookeeper03可以看到zookeeper集群的数据一致性.
zookeeper的节点
1、持久节点(persistent)
quit命令退出后,节点仍然存在。
2、临时节点(ephemeral)
quit命令退出后,节点不存在。(即:会话结束后,节点不存在)
zookeeper的zoo.cfg详解
cd /usr/local/zookeeeper/conf下,查看zoo.cfg配置文件
tickTime: 服务器之间或客户端与服务器之间维持心跳的时间间隔,
也就是每隔 tickTime时间就会发送一个心跳。
dataDir:存储内存中数据库快照的位置,顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort: 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
默认值2181
initLimit: 这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,
当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,
10*2000=20 秒。
syncLimit: 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,
最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒
server.A = B:C:D
例如:server.1=172.16.158.11:2888:3888
A表示这个是第几号服务器,通常用整数1、2、3…表示
B 是这个服务器的 ip 地址;
C (2888)表示的是这个服务器follower与集群中的 Leader 服务器交换信息的端口;即:follower与leader同步广播数据的端口。
D (3888)表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader。即:zookeeper集群选举leader的端口
Java客户端操作zookeeper
1、 java 操作zookeeper(与zk创建连接)
使用java操作zookeeper,zookeeper的javaclient 使我们更轻松的去对zookeeper进行各种操作,我们引入zookeeper-3.4.5.jar 和 zkclient-0.1.jar即可。
创建会话方法:客户端可以通过创建一个zookeeper实例来链接zookeeper服务器。
Zookeeper(Arguments)方法(一共4个构造方法,根据参数不同)
参数说明如下:
connectString:连接服务器列表,已“,”分割。
sessionTimeOut:心跳检测时间周期(毫秒)
watcher:事件处理通知器。
canBereadOnly:标识当前会话是否支持只读。
sessionId和sessionPasswd:提供连接zookeeper的sessionId和密码,通过这两个确定唯一一台客户端,目的是可以提供重复会话
注意:zookeeper客户端和服务器端会话的建立是一个异步的过程,也就是说在程序中,我们程序方法在处理完客户端初始化后,立即返回(程序往下执行代码,这样,大多数情况下我们并没有真正构建好一个可用会话,在会话的声明周期处于"CONNECTING"时才算真正建立完毕,所以我们需要使用多线程中的一个工具类)
2、java 操作zookeeper(创建节点(znode)方法,create)
提供了两套创建节点的方法,同步和异步创建节点方式。
同步方式:
参数1,节点路径(名称):/nodeName (不允许递归创建节点,也就是说在父节点不存在的情况下,不允许创建子节点)
参数2,节点内容:要求类型是字节数组 (不支持序列化方式,如果需要实现序列化,可使用java相关的序列化框架,如Hession,Kryo框架)
参数3,节点权限:使用Ids.OPEN_ACL_UNSAFE开发权限即可(一般在权限没有太高要求的场景下,没必要关注)
参数4,节点类型 创建节点的类型:CreateMode.* 提供四种节点类型
PERSISTENT (持久节点)
PERSISTENT_SEQUENTIAL(持久顺序节点)
EPHEMRAL(临时节点)
EPHEMRAL_SEQUENTIAL(临时顺序节点)
java 操作zookeeper 异步方式:(在同步基础上增加两个参数)
参数5:
注册一个异步回调函数,要实现AsynCallBack.StringCallBack接口。重写processResult(int rc,String path,Object ctx,String name) 方法,当节点创建完毕后,执行此方法。
1.rc:为服务端响应码, 0表示调用成功,-4表示端口连接,-110表示指定节点存在,-112表示会话已经过期
2.path:接口调用时传入API的数据节点的路径参数
3.ctx:为调用接口传入API的ctx的值
4.name:实际在服务器端创建节点的名称
参数6:
传递给回调函数的参数,一般为上下文(Context)信息
3、 java 操作zookeeper(删除节点:delete方法)
删除节点:delete方法(api提供了两个接口,同步删除和异步删除方式)
同步方式:
参数1,节点名称 /deletePath
参数2,版本号,即表示本次删除操作是针对该数据的某个版本进行操作。
异步方式:
参数3:一个异步回调函数
参数4:用于传递上下文信息的对象。
注意:在zookeeper中,只允许删除叶子节点信息,也就是说如果当前节点不是叶子节点则无法删除,或必须先删除其下所有的子节点,
4、 java 操作zookeeper(子节点列表获取和子节点数据的获取,getChildren)
getChildren读取数据方法:包括子节点列表获取和子节点数据的获取。
参数1 path:获取指定节点下的数据(获取子节点列表)
参数2 watcher: 注册的watcher ,一旦在本次子节点获取后,子节点列表发生变更的话,那么就会向客户端发送通知,该参数允许为null
参数3 wath:表明是否需要注册一个watcher:如果为true,则会使用到zookeeper客户端上下文中提到的那个默认watcher,如果false,则表明不需要注册Watcher,
参数4 cb: 回调函数
参数5 ctx:上下文信息
参数6 stat :指定数据节点的节点状态信息
注意:当我们获取指定节点的子节点列表后,还需要订阅这个子节点列表的变化通知,这时候就可以通过注册一个watcher来实现,当子节点被添加或删除时,服务器端就会触发一个“NodeChildrenChanged”类型的时间通知,需要注意的是服务端发送给客户端的事件通知中,是不包含最新的节点列表的,客户端必须主动重新进行获取,通常在客户端收到这个事件通知后,就可以再次主动获取最新的子节点列表,也就是说,zookeeper服务端在想客户端发送watcher“NodeChildrenChanged”事件通知的时候,仅仅只发了一个通知,不会把节点的变化情况发给客户端,需要客户端自己重新获取,另外Watcher通知是一次性的,即触发后失效,因此客户端需要反复注册Watcher才行。
5、java 操作zookeeper(检测节点是都存在
,exists方法)
exists方法:检测节点是都存在
参数1 path:路径
参数2 watcher :注册的watcher对象。一旦之后节点内容有变更,则会向客户端发送通知,该参数允许为null (用于三类事件监听:节点的创建,删除,更新)
参数3 watch :是否使用watcher,如果true 则使用默认上文中的watcher,false则不使用watcher
参数4 cb:回调函数
参数5 ctx:用于传递的下文信息对象
注意:exists 方法意义在与无论节点是都存在,都可以进行注册watcher,能够对节点的创建,删除和修改进行监听,但是其子节点发生各种变化,都不会通知客户端。
示例代码
/**
* 利用原生zookeeper-3.4.5.jar操作zookeeper(知道就行)
*/
public class BaseZookeeper implements Watcher {
private ZooKeeper zookeeper;
/**
* 超时时间
*/
private static final int SESSION_TIME_OUT = 2000;
/**
* 信号量,阻塞程序执行,用于等待zookeeper连接成功,发送成功信号
*/
private CountDownLatch countDownLatch = new CountDownLatch(1);
public void process(WatchedEvent event) {
if (event.getState() == Event.KeeperState.SyncConnected) {
System.out.println("Watch received event");
countDownLatch.countDown();
}
}
/**
* 连接zookeeper
* * @param host
* * @throws Exception
*
*/
public void connectZookeeper(String host) throws Exception {
zookeeper = new ZooKeeper(host, SESSION_TIME_OUT, this);
countDownLatch.await();
System.out.println("zookeeper connection success");
}
/**
* * 创建节点
* * @param path
* * @param data
* * @throws Exception
*
*/
public String createNode(String path, String data) throws Exception {
return this.zookeeper.create(path, data.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
/**
* * 获取路径下所有子节点
* * @param path
* * @return
* * @throws KeeperException
* * @throws InterruptedException
*
*/
public List<String> getChildren(String path) throws KeeperException, InterruptedException {
List<String> children = zookeeper.getChildren(path, false);
return children;
}
/**
* * 获取节点上面的数据
* * @param path 路径
* * @return
* * @throws KeeperException
* * @throws InterruptedException
*
*/
public String getData(String path) throws KeeperException, InterruptedException {
byte[] data = zookeeper.getData(path, false, null);
if (data == null) {
return "";
}
return new String(data);
}
/**
* * 设置节点信息
* * @param path 路径
* * @param data 数据
* * @return
* * @throws KeeperException
* * @throws InterruptedException
*
*/
public Stat setData(String path, String data) throws KeeperException, InterruptedException {
Stat stat = zookeeper.setData(path, data.getBytes(), -1);
return stat;
}
/**
* * 删除节点
* * @param path
* * @throws InterruptedException
* * @throws KeeperException
*
*/
public void deleteNode(String path) throws InterruptedException, KeeperException {
zookeeper.delete(path, -1);
}
/**
* * 获取创建时间
* * @param path
* * @return
* * @throws KeeperException
* * @throws InterruptedException
*
*/
public String getCTime(String path) throws KeeperException, InterruptedException {
Stat stat = zookeeper.exists(path, false);
return String.valueOf(stat.getCtime());
}
/**
* * 关闭连接
* * @throws InterruptedException
*
*/
public void closeConnection() throws InterruptedException {
if (zookeeper != null) {
zookeeper.close();
}
}
}
代码示例总结:
connectZookeeper()方法在连接zookeeper的时候,用栅栏类CountDownLatch,阻塞程序执行,用于等待zookeeper连接成功。因为zookeeper的连接是异步的,在没有连接上zookeeper之前,需要阻塞业务代码一段时间,以等待连接成功。