CDH HIVE用什么工具连 用什么工具进行hive开发

Hive是什么？

  hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。——[维基百科]

如何理解Hive？

 Hive是一个工具，用于将HQL转化成MapReduce程序。

• Hive处理的数据存储在HDFS
• Hive分析数据底层的实现是MapReduce
• 执行程序运行在Yarn上

Hive架构图

• 用户接口：Client
  CLI(command-line interface) ，JDBC（Java Database Connectivity）java数据库连接
• 驱动器：Driver

   1. SQL Parser（解析器）
      将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
   2. Physical Plan（编译器）
      将AST编译生成逻辑执行计划。
  3. Query Optimizer（优化器）
     对逻辑执行计划进行优化。
  4. Execution（执行器）
      把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

• 元数据：Metastore
  元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
  默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore
• Hadoop
  使用HDFS进行存储，使用MapReduce进行计算。

Hive的优缺点

优点:
  学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。——[维基百科]
缺点:
  实时性低，hive 不适合那些需要高实时性的应用，因为mapreduce中shuffle阶段要进行大量io操作，比较浪费时间；
  迭代式算法无法体现,由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。

Hive的环境安装

MySql安装

1）如果以前安装过数据库，就把他删掉，我们统一用mysql
如果跟着博主一路做到这里，我们系统上存放的数据库应该是mariadb（有一定的局限性，不支持多个窗口操作）

rpm -qa|grep mariadb

给他删掉！

sudo rpm -e --nodeps  mariadb-libs

• 将MySQL安装包拷贝到/opt/software目录下



• 解压MySQL安装包
  先在software下建立一个新的目录mysql-5.7.28
  然后解压在这个文件夹内

mkdir mysql-5.7.28
tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql-5.7.28/

• 在安装目录下执行rpm安装
  请依次安装

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

运行成功：

运行最后一步安装server的时候有些机子会报这个错：

警告：mysql-community-server-5.7.28-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
错误：依赖检测失败：
        libaio.so.1()(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
        libaio.so.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
        libaio.so.1(LIBAIO_0.4)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要

通过yum安装缺少的依赖,然后重新安装mysql-community-server-5.7.28-1.el7.x86_64 即可

yum install -y libaio

• 初始化数据库

sudo mysqld --initialize --user=mysql

• 查看临时生成的root用户的密码
  记录密码！
• 启动MySQL服务

sudo systemctl start mysqld

• 登录MySQL数据库

mysql -uroot -p'刚才记录的密码'

修改密码，弄个好记的

set password = password("新密码")

修改mysql库下的user表中的root用户允许任意ip连接

mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;

Hive安装部署

• 把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下



• 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

tar -zxf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

• 修改apache-hive-3.1.2-bin.tar.gz的名称为hive-3.1.2

mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive-3.1.2

• 修改/etc/profile.d/my_env.sh，添加环境变量

sudo vim /etc/profile.d/my_env.sh

#hive
export HIVE_HOME=/opt/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

重新加载profile文件

source /etc/profile

• 解决日志Jar包冲突

mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

Hive元数据配置到MySql

• 拷贝驱动
  这个自己下载，自己上传；

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

• 配置Metastore到MySql
  在$HIVE_HOME/conf目录下新建hive-site.xml文件

vim $HIVE_HOME/conf/hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop32:3306/metastore?useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
   <!-- Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop32:9083</value>
    </property>
    <!-- 指定hiveserver2连接的端口号 -->
    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop32</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
</configuration>

启动Hive

• 初始化元数据库
  登陆MySQL

mysql -uroot -p'密码'

登陆成功：

新建Hive元数据库,并退出

create database metastore;
quit;

初始化Hive元数据库

schematool -initSchema -dbType mysql -verbose

• 启动metastore和hiveserver2
  不多bb，我们直接上脚本！

vim $HIVE_HOME/bin/hiveSv.sh

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

添加执行权限

chmod +x $HIVE_HOME/bin/hiveSv.sh

启动！

hiveSv.sh start

HiveJDBC访问

启动集群
启动metastore和hiveserver2
启动beeline客户端

beeline -u jdbc:hive2://hadoop32:10000 -n yuaf

(注意你要是和博主的主机号，用户名不同记得改参数）

进入后的界面

Hive访问

hive

打印 当前库 和 表头
在hive-site.xml中加入如下两个配置:

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
  </property>
   <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
  </property>

输入hive

可以看到此时用的是默认数据库。

Hive运行日志信息配置