hbase hadoop兼容 hbase和hadoop版本

转载

bigrobin 2023-09-20 19:53:32

在hadoop生态圈中，非关系型数据库Hbase占有重要一席之地。这里介绍一下Hbase安装过程，首先需要明白的是，hbase的安装条件：

1. JDK1.7+以上
2. Hadoop2.5+以上
3. Zookeeper3.4.x以上
那么下面详细介绍一下安装步骤：

下载相应hadoop生态圈版本
这里推荐采用cdh下载各版本，cdh下载地址，这里我选择hadoop-2.5.0-cdh5.3.10.tar.gz，因为Hbase安装是基于Hadoop与hdfs的，另外还需要安装Zookeeper，下面我一个个来，为啥说要选择cdh版本呢？是为了解决Hadoop生态圈软件兼容的问题，等于说是一套配套设施。
下载Hbase
同样Hbase我也下载hbase-0.98.6-cdh5.3.10.tar.gz，保证版本号一致，免得在lniux下面报一些不寻常的错误。

上传下载好的hadoop版本，建议采用FileZilla Client或者使用SecureCrt或者使用命令上传文件到linux指定的文件夹，若要使用rz或者sz命令，首先需要确保你的机器上面是否安装了lrzsz ，如若没有的话，yum install lrzsz 安装一下吧。
解压hadoop，上面我们下载的是hadoop-2.5.0-cdh5.3.10.tar.gz；那么tar -zvxf hadoop-2.5.0-cdh5.3.10.tar.gz 。
修改配置文件；进入解压后的hadoop中的etc目录，ls查看一下该目录下面的文件，找到hadoop-env.sh;vi hadoop-env.sh,更改其中的JDK的默认地址，换上你的机器jdk的安装地址，同时也可以修改默认日志输出地址。
创建数据存放目录
配置core-site.xml
欢迎查看官方文档的单节点配置：core-site配置详情
配置hdfs-site.xml
配置slaves

格式化一下：

格式化效果：
启动hadoop
效果展示：

在浏览器中输入当前机器IP加上50070端口号；从上面可以看到hadoop启动成功！！！

zookeeper安装部署集群，这里我部署三台机器组成集群。

上传下载好的zookeeper
解压zookeeper
tar -zvxf zookeeper-3.4.10.tar.gz
配置 zoo.cfg
拷贝一份zoo.cfg出来
cp ./zoo_sample.cfg ./zoo.cfg
vi zoo.cfg
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
配置dataDir：即是存放内存数据库快照的位置，dataLogDir是事务日志目录
配置myid

根据zoo.cfg中的集群设置的编号来写入：vi myid
配置映射
vi /etc/hosts
分发另外两台机器即可
scp -r ./zookeeper-3.4.10 192.168.10.128:/usr/local/zookeeper/ 192.168.10.130:/usr/local/zookeeper/
同样修改一下服务器映射信息 vi /etc/hosts，实质上分发一下也是很好的，因为都一样的嘛
启动zookeeper

./zkServer.sh start 启动注意同时启动三台，然后./zkServer.sh status 查看zookeeper当前状态
我这里集群成功：

一台master 两台follower,至此集群成功部署。