HBase安装配置与使用

  • 实验目的要求
  • 实验环境
  • 软件版本
  • 集群规划
  • 实验内容
  • 1、 HBase基本安装配置
  • 2、HBase高可用完全分布模式配置
  • 3、同步安装配置以及系统时间
  • 4、Hadoop高可用完全分布模式格式启动和验证
  • 5、HBase的使用
  • 出现的问题与解决方案


实验目的要求

掌握完全分布模式的整合平台中HBase的高可用完全分布模式的安装
1、完成HBase的高可用完全分布模式的安装
2、HBase的相关服务进程能够正常启动
3、HBase控制台能够正常使用
4、表创建、数据查询等数据库操作能够正常进行
5、掌握数据库的基本使用操作
6、HBase数据库语句的使用

实验环境

1、五台独立PC机或虚拟机
2、主机之间有有效的网络连接
3、每台主机内存2G以上,磁盘剩余空间500M以上
4、所有主机已安装CentOS 7.4操作系统
5、所有主机已完成网络属性配置
6、所有主机已安装JDK
7、已完成Zookeeper集群的安装和部署
8、已完成Hadoop集群得安装和部署
9、HBase完全分布部署完成

软件版本

选用Hbase的1.2.3版本,软件包名为hbase-1.2.3-bin.tar.gz

集群规划

HBase有主节点何Region节点2类服务节点,高可用完全分布模式中需要满足主节点有备用得基本要求,所以需要两台或以上得主机作为主节点,而完全分布模式中需要满足Region有备份何数据处理能够分布并行得基本要求,所以要求两台或以上得主机作为Region节点,具体规划如下:

hbase的基础操作实验心得 hbase实验报告_hadoop

实验内容

1、 HBase基本安装配置

*该项所有操作步骤使用专门用于集群的用户admin进行
*此项只在一台主机操作,然后在下一步骤进行同步安装于配置。

1.1上传HBase软件包“hbase-1.2.3-bin.tar.gz”到用户家目录的“setups”目录下。然后进行解压和环境变量设置。

hbase的基础操作实验心得 hbase实验报告_大数据_02


1.2创建用于存放HBase相关文件的目录并且进入该目录将软件包解压

hbase的基础操作实验心得 hbase实验报告_hadoop_03


hbase的基础操作实验心得 hbase实验报告_分布模式_04


1.3配置HBase的相关环境变量

hbase的基础操作实验心得 hbase实验报告_hadoop_05


hbase的基础操作实验心得 hbase实验报告_Hadoop_06


1.4使新配置的环境变量立即生效,查看新添加和修改的环境变量是否设置成功,以及环境变量的值是否正确

hbase的基础操作实验心得 hbase实验报告_大数据_07

2、HBase高可用完全分布模式配置

*该项的所有操作步骤使用专门用于集群的用户admin进行

2.1进入Hbase相关文件的目录,分别创建HBase的得元数据文件目录“tmp”何HDFS得日志文件目录“logs”。

hbase的基础操作实验心得 hbase实验报告_hadoop_08


2.2进入Hbase的配置文件所在目录,对配置文件进行修改。

hbase的基础操作实验心得 hbase实验报告_hadoop_09


hbase的基础操作实验心得 hbase实验报告_大数据_10


hbase的基础操作实验心得 hbase实验报告_大数据_11


hbase的基础操作实验心得 hbase实验报告_hadoop_12


hbase的基础操作实验心得 hbase实验报告_分布模式_13


2.3对配置文件进行修改。

$vi hbase-site.xml

找到标签“”所在的位置,在其添加如下内容:

hbase的基础操作实验心得 hbase实验报告_Hadoop_14


hbase的基础操作实验心得 hbase实验报告_大数据_15


2.4删除文件中原有所有内容,然后添加集群中所有RegionServer节点得主机名,每行一个主机的主机名,配置如下:

hbase的基础操作实验心得 hbase实验报告_分布模式_16


hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_17


2.5创建配置文件“backup-masters”。

hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_18


2.6修改配置文件,添加集群中所有备用主节点得主机名,每行一个主机得主机名,配置格式如下:

hbase的基础操作实验心得 hbase实验报告_Hadoop_19


hbase的基础操作实验心得 hbase实验报告_Hadoop_20

3、同步安装配置以及系统时间

*该项的所有操作步骤使用专门用于集群的用户admin进行

3.1将“hbase”目录和“.bash_profile”文件发给集群中所有主机,发送目标用户为集群专用用户admin,发送目标路径为“/home/admin”,即集群专用用户admin的家目录。然后每台执行source ~/.bash_profile使环境变量生效。

hbase的基础操作实验心得 hbase实验报告_大数据_21


hbase的基础操作实验心得 hbase实验报告_hadoop_22


hbase的基础操作实验心得 hbase实验报告_分布模式_23


hbase的基础操作实验心得 hbase实验报告_hadoop_24


3.2在每台主机或虚拟机上,使用命令“echo $ZOOKEEPER_HOME”、“echo $PATH”、“hbase version”查看新添加和修改的环境变量是否设置成功,以及环境变量的值是否正确,验证Hadoop的安装配置是否成功。

$echo $ZOOKEEPER_HOME
$echo $PATH
$hbase version

hbase的基础操作实验心得 hbase实验报告_Hadoop_25


hbase的基础操作实验心得 hbase实验报告_Hadoop_26


hbase的基础操作实验心得 hbase实验报告_Hadoop_27


hbase的基础操作实验心得 hbase实验报告_分布模式_28


3.3在集群中所有主机上使用命令“date -s ‘yyyy-MM-dd HH:mm:ss(年-月-日 时:分:秒)’”对系统时间进行设置,并使用命令:hwclock -w:将设置得时间同步到硬件时钟。

*时间同步项的所有操作步骤需要使用root用户进行。

*该操作尽量在所有主机上同时进行,从而保证主机之间的时间误差值在设定的“hbase.master.maxclockskew”范围内。

hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_29


3.4开启虚拟节点的时间同步

hbase的基础操作实验心得 hbase实验报告_Hadoop_30

4、Hadoop高可用完全分布模式格式启动和验证

*该项的所有操作步骤使用专门用于集群的用户admin进行
*启动HBase集群之前首先确保Zookeeper集群已被开启状态。(实验5台)

Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错,则需要进入zookeeper/bin目录执行启动命令。
*启动HBase集群之前首先确保Hadoop集群已被开启状态。(实验5台)
Hadoop只需要在主节点执行启动命令。
4.1在集群中所有主机上查看该节点Zookeeper服务当前的状态,若集群中只有一个“leader”节点,其余均为“follower”节点,则集群的工作状态正常。如果Zookeeper未启动,则在集群中所有主机上使用命令“./zkServer.sh start”启动Zookeeper服务的脚本。在主节点使用命令“start-all.sh”,启动Hadoop集群。在所有备用主节点的主机,使用命令“yarn-daemon.sh start resourcemanager”,启动YARN主节点服务.确定Hadoop集群已开启状态,然后再主节点使用命令“start-hbase.sh”,启动HBase集群

$./zkServer.sh status
$./zkServer.sh start
$jps
$start-all.sh
$yarn-daemon.sh start resourcemanager
$start-hbase.sh

hbase的基础操作实验心得 hbase实验报告_Hadoop_31


4.2查看Java进程信息

4.2.1在主节点和备用主节点使用命令“jps”查看Java进程信息,若有名为“HMaster”的进程,则表示HBase集群的主节点和备用主节点启动成功。

hbase的基础操作实验心得 hbase实验报告_Hadoop_32


hbase的基础操作实验心得 hbase实验报告_分布模式_33


4.2.2使用命令“ssh 目标主机名或IP地址”远程登录到所有Region节点主机,使用命令“jps”查看Java进程信息,若有名为“HRegionServer”进程,则表示HBase集群的Region节点启动成功。

hbase的基础操作实验心得 hbase实验报告_hadoop_34


hbase的基础操作实验心得 hbase实验报告_大数据_35


hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_36


4.3进入HBase的控制台,在控制台中使用命令“create ‘表名’,‘列名1’,‘列名2’,…”创建表。命令“exit”退出控制台返回系统命令界面。

hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_37

5、HBase的使用

5.1新建表空间

hbase的基础操作实验心得 hbase实验报告_hadoop_38


hbase的基础操作实验心得 hbase实验报告_hadoop_39


5.2将以下几位同学的成绩单的数据写入到Hbase。

hbase的基础操作实验心得 hbase实验报告_分布模式_40


5.3建立一个个表和列族(默认表空间)

hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_41


5.4按设计的表结构插入值

hbase的基础操作实验心得 hbase实验报告_hadoop_42


hbase的基础操作实验心得 hbase实验报告_Hadoop_43


hbase的基础操作实验心得 hbase实验报告_hbase的基础操作实验心得_44


hbase的基础操作实验心得 hbase实验报告_Hadoop_45


5.5扫描所有数据

hbase的基础操作实验心得 hbase实验报告_大数据_46


hbase的基础操作实验心得 hbase实验报告_分布模式_47

出现的问题与解决方案

出现的问题:HMaster服务启动起来过一会就消失了

解决方案:修改5台主机的配置文件hbase-site.xml,将hdfs://Cluter-01改为Cluter-02

hbase的基础操作实验心得 hbase实验报告_分布模式_48