1

文章编写目的

在前面Fayson的文章《Hadoop SQL客户端工具之Dbeaver安装及使用》介绍了DBeaver的安装以及访问非Kerberos环境下的Hive。本篇文章Fayson主要介绍如何使用DBeaver访问Kerberos环境下的Hive。

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Window Server 2012R2

2

安装Kerberos客户端

1.在Kerberos官网下载,地址如下

https://web.mit.edu/kerberos/dist/index.html

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive

安装过程这里就不在详细说明了。

2.将CDH集群的/etc/krb5.conf文件,在Window客户端如下目录创建krb5.ini文件,内容如下:

“C:\ProgramData\MIT\Kerberos5\krb5.ini”
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = true
default_realm = FAYSON.COM
#default_ccache_name = KEYRING:persistent:%{uid}

[realms]
FAYSON.COM = {
  kdc = adserver.fayson.com
  admin_server = adserver.fayson.com
}

[domain_realm]
.fayson.com = FAYSON.COM
fayson.com = FAYSON.COM

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_02

3.配置环境变量,krb5.ini文件以及Kerberos Credential Cache File的路径

变量名:KRB5_CONFIG,变量值:C:\ProgramData\MIT\Kerberos5\krb5.ini

变量名:KRB5CCNAME,变量值:C:\temp\krb5cache

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_03

注意:KRB5CCNAME的路径默认是不存在的,因此需要在C盘下创建temp文件夹,krb5cache文件则不需要创建。

配置完环境变量后,重启计算机使其生效。

4.完成以上配置后,在Window客户端测试是否能够正常kinit

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_04

Kinit成功后

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_05

3

修改DBeaver配置

因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,主要添加关于Kerberos相关的配置。

1.进入DBeaver的安装目录,找到dbeaver.ini配置文件,在配置文件末尾增加如下配置:

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_06

2.重新启动DBeaver客户端

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_07

4

基于Hive原生驱动创建连接

Hive原生驱动的获取方式在《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》文章中有说明使用Maven的方式获取Hive JDBC驱动,这里就不过多的再说明了。

1.在DBeaver上创建 Apache Hive的JDBC连接

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_08

2.编辑驱动设置,由于是Kerberos方式访问,在URL模板中增加

/;principal=hive/{host}@FAYSON.COM

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_09

添加JDBC驱动及依赖包,使用“找到类”查找驱动包中JDBC驱动类

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_10

3.完成驱动编辑后,点击确定即可

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_11

4.点击“测试连接”进行JDBC连接测试

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_12

5.进行访问显示如下

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_13

5

基于Cloudera驱动创建连接

Cloudera官网提供的JDBC驱动包比较简单只有一个jar包,Hive JDBC驱动包及其依赖包均打包在里面,但在JDBC URL的访问方式上也做了一定的调整。可能是为了兼容访问Impala而做,具体访问方式如下:

1.进入驱动设置界面,在URL模板中增加如下参数

;AuthMech=1;KrbRealm=FAYSON.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_14

添加Cloudera提供的Hive JDBC驱动

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_15

2.点击“确定”完成驱动设置,填写主机地址

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_16

3.点击“测试连接”

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_hive_17

4.完成连接创建后即可正常访问Kerberos环境下的Hive库

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_客户端_18

6

总结

1.使用Hive原生JDBC驱动时,需要增加Hadoop相关的依赖包,否则会报版本啊什么的异常。

windows环境基于kerberos连接hive数据库 dbeaver连接hive kerberos_Hive_19

2.注意在使用Cloudera提供的Hive驱动包访问Kerberos环境下的Hive时注意JDBC URL地址配置方式。

3.Cloudera提供的Hive JDBC驱动与Hive原生的驱动类有些区别,驱动类需要指定为“com.cloudera.hive.jdbc41.HS2Driver”。使用Cloudera提供的驱动包不需要考虑驱动包依赖的问题,默认的将Hive驱动所依赖的包都打包在里面。

4.特别强调在Window机器上配置Kerberos客户端时,需要配置KRB5_CONF和KRB5CCNAME两个环境变量,否则在使用访问时会报“Unable to obtain Principal Name for authentication”

提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。