Hive-与Hive的集成
HBase与Hive的对比
| Hive | HBase |
特点 | 类SQL 数据仓库 | NoSQL （Key-value） |
适用场景 | 离线数据分析和清洗 | 适合在线业务（毫秒级的） |
延迟 | 延迟高 | 延迟低 |
存储位置 | 存储在HDFS | 存储在HDFS |
HBase与Hive集成使用
1.环境准备
因为我们后续可能会在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar，那么接下来拷贝Hive所依赖的Jar包（或者使用软连接的形式）。
记得还有把zookeeper的jar包考入到hive的lib目录下。
1）环境变量/etc/profile
export HBASE_HOME=/opt/module/hbase-1.3.1
export HIVE_HOME=/opt/module/apache-hive-1.2.2-bin
2）接下来建立软连接：
#Shell执行（下面命令行的可以一下子都复制上-》粘贴-》回车）
ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar
同时在hive-site.xml中修改zookeeper的属性，如下：
<property>
<name>hive.zookeeper.quorum</name>
<value>bigdata111,bigdata112,bigdata113</value>
<description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
<description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
2.案例
1）案例一
目标：建立Hive表，关联HBase表，插入数据到Hive表的同时能够影响HBase表。
分步实现：
先启动hive和hbase:hive 、hbase shell
(1) 在Hive中创建表同时关联HBase
CREATE TABLE hive_hbase_emp_table123(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table123");
尖叫提示：完成之后，可以分别进入Hive和HBase查看，都生成了对应的表。
如果运行出错：
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
需要更换hive的lib目录下的hive-hbase-handler-1.2.1.jar
先将这个hive自带的包移动到以下目录：
[root@bigdata111 lib]# mv hive-hbase-handler-1.2.1.jar
然后用新的含有刚刚要运行类的同名jar包替换它
再重启hive、运行即可。
接下来就能够看到在hive和hbase上分别有创建了一个表：hive_hbase_emp_table123、hbase_emp_table123。
查看hbase中的
Web页面也可16010
(2) 在Hive中创建临时中间表，用于load文件中的数据
尖叫提示：不能将数据直接load进Hive所关联HBase的那张表中，
因为Hbase没有load命令，如果通过insert-走MR就能够使两张表都进行数据的插入。
CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) row format delimited fields terminated by '\t'; |
(3) 向Hive中间表中load数据
hive> load data local inpath '/opt/module/datas/emp.txt' into table emp; |
(4) 通过insert命令将中间表中的数据导入到Hive关联HBase的那张表中
hive (default)> insert into table hive_hbase_emp_table123 select * from |
(5) 查看Hive以及关联的HBase表中是否已经成功的同步插入了数据
Hive：
hive> select * from |
HBase：
hbase> scan 'hbase_emp_table' |
2) 案例二
目标：在HBase中已经存储了某一张表hbase_emp_table，然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表，使之可以借助Hive来分析HBase这张表中的数据。
注：该案例2紧跟案例1的脚步，所以完成此案例前，请先完成案例1。
分步实现：
(1) 在Hive中创建外部表
CREATE EXTERNAL empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") TBLPROPERTIES |
(2) 关联后就可以使用Hive函数进行一些分析操作了
hive (default)> select * from |
*****************************************************************************************************************************************
或者自己再从创建新的Hbase表开始：
（1）自己在HBase中创建一个teacher1的表
create 'teacher1','info'
（2）插入数据：
put 'teacher1','1001','info:name','Jack'
put 'teacher1','1001','info:age','28'
put 'teacher1','1001','info:gender','male'
（3）然后再在hive中创建外部表teacher1关联上hbase中的teacher1表：
CREATE EXTERNAL TABLE
id int,
name string,
age string,
gender int)
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" =
":key,info:name,info:age,info:gender")
TBLPROPERTIES
（4）接着查询hive表中的数据：
hive (default)> select * from
OK
teacher1.id teacher1.name teacher1.age teacher1.gender
1001 Jack 28 NULL
Time taken: 0.312 seconds, Fetched: 1 row(s)
