Hive和HBase表的关联

1. HBase 和 Hive 的对比

Hive

(1) 数据仓库
Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以方便使用 HQL 去管理查询。(2) 用于数据分析、清洗
Hive 适用于离线的数据分析和清洗，延迟较高。
(3) 基于 HDFS、MapReduce
Hive 存储的数据依旧在 DataNode 上，编写的 HQL 语句终将是转换为 MapReduce 代码执
行

HBase

(1) 数据库
是一种面向列存储的非关系型数据库。
(2) 用于存储结构化和非结构化的数据
适用于单表非关系型数据的存储，不适合做关联查询，类似 JOIN 等操作。
(3) 基于 HDFS
数据持久化存储的体现形式是 Hfile，存放于 DataNode 中，被 ResionServer 以 region 的形
式进行管理。
(4) 延迟较低，接入在线业务使用
面对大量的企业数据，HBase 可以直线单表大量数据的存储，同时提供了高效的数据访问速度

2.环境准备

(❤️如果是 CDH集群 这一步跳过)

拷贝HBase的jar包
> 1. 在 /etc/profile 添加 
export HBASE_HOME=/opt/module/hbase
export HIVE_HOME=/opt/module/hive

> 2.设置软链接
ln  -s  $HBASE_HOME/lib/hbase-common-1.3.1.jar
$HIVE_HOME/lib/hbase-common-1.3.1.jar
ln  -s  $HBASE_HOME/lib/hbase-server-1.3.1.jar
$HIVE_HOME/lib/hbase-server-1.3.1.jar
ln  -s  $HBASE_HOME/lib/hbase-client-1.3.1.jar
$HIVE_HOME/lib/hbase-client-1.3.1.jar
ln  -s  $HBASE_HOME/lib/hbase-protocol-1.3.1.jar
$HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln  -s  $HBASE_HOME/lib/hbase-it-1.3.1.jar
$HIVE_HOME/lib/hbase-it-1.3.1.jar
ln  -s  $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar
$HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln  -s  $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
$HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln  -s  $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
$HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
修改[配置文件]
<property>
<name>hive.zookeeper.quorum</name>
<value>hadoop102,hadoop103,hadoop104</value>
<description>The list of ZooKeeper servers to talk to. This is only
needed for read/write locks.</description>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
<description>The port of ZooKeeper servers to talk to. This is only
needed for read/write locks.</description>
</property>

3.案例一

需求 :

建立 Hive 表，关联 HBase 表，插入数据到 Hive 表的同时能够影响 HBase 表。

分布实现
  1. 在 Hive 中创建表同时关联 HBase
> 使用前指定 数据库

CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
-- 使用 Hbase的存储方式 --
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
-- 设置 Hbase的 组以及列名列名  第一个 key是不能改变的 , 其他的名字可以改变
WITH  SERDEPROPERTIES  ("hbase.columns.mapping"  =
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:co
mm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");


or 

CREATE TABLE hive_hbase_emp02_table(
empno int,
ename string
)
-- 使用 Hbase的存储方式 --
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
-- 设置 Hbase的 组以及列名列名  第一个 key是不能改变的 , 其他的名字可以改变
WITH  SERDEPROPERTIES  ("hbase.columns.mapping"  =
":key,info:ename")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp02_table");

☁️提示：完成之后，可以分别进入 Hive 和 HBase 查看，都生成了对应的表

  1. 在 Hive 中创建临时中间表，用于 load 文件中的数据

❤️ 注意 : 在 Hive创建的和HBase关联的表是没办法 直接使用 load 插入数据的 ,只能先将 数据load进 临时表然后再插入到 关联表

CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';

or
CREATE TABLE emp02(
empno int,
ename string)
row format delimited fields terminated by ',';
  1. 向 Hive 中间表中 load 数据
load data local inpath '/home/admin/softwares/data/emp.txt' into table emp;
  1. 通过 insert 命令将中间表中的数据导入到 Hive 关联 HBase 的那张表中
insert into table hive_hbase_emp_table select * from emp;
  1. 查看 Hive 以及关联的 HBase 表中是否已经成功的同步插入了数据
hive> select * from hive_hbase_emp_table;

hbase> scan ‘hbase_emp_table’

4.案例二

需求 :

在 HBase 中已经存储了某一张表 hbase_tmp_table(❤️注意 是已经有这个表的情况下)，然后在 Hive 中创建一个外部表来
关联 HBase 中的 hbase_tmp_table 这张表，使之可以借助 Hive 来分析 HBase 这张表中的数据

分步实现
  1. 在 Hive 中创建外部表
CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string)
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:ename")  -- 注意 :   ':key' 是固定写法 不能改变--
TBLPROPERTIES ("hbase.table.name" = "hbase_tmp_table");