hive 查询结果生成一个字符串 hive查询的结果作为变量

转载

mob6454cc6d3e23 2023-10-07 09:27:31

文章标签 hive 查询结果生成一个字符串大数据 shell 数据库 hive 文章分类 Hive 大数据

hive --define --hivevar --hiveconf

set

1、hivevar命名空间

用户自定义变量

hive -d name=zhangsanhive --define name=zhangsanhive -d a=1 -d b=2

效果跟hivevar是一样的

hive --hivevar a=1 --hivevar b=2

引用hivevar命名空间的变量时，变量名前面可以加hivevar:也可以不加

set name;set name=zhangsan;set hivevar:name;set hivevar:name=zhangsan;

变量名前面可以加hivevar:也可以不加

create table ${a} ($(b) int);

2、hiveconf命名空间

hive的配置参数，覆盖hive-site.xml（hive-default.xml）中的参数值

hive --hiveconf hive.cli.print.current.db=true --hiveconf hive.cli.print.header=true

hive --hiveconf hive.root.logger=INFO,console

hive --hiveconf hive.metastore.warehouse.dir=/hive/$USER

引用hiveconf命名空间的变量时，变量名前面可以加hiveconf:也可以不加

set hive.cli.print.header;set hive.cli.print.header=false;

3、sytem命名空间

JVM的参数，不能通过hive设置，只能读取

引用时，前面必须加system:

set sytem:user.name;

create table ${system:user.name} (a int);

4、env命名空间

shell环境变量，引用时必须加env:

set env:USER;set env:HADOOP_HOME;

create table ${env:USER} (${env:USER} string);

附录：常用的设置

在会话里输出日志信息

hive --hiveconf hive.root.logger=DEBUG,console

也可以修改$HIVE_HOME/conf/hive-log4j.properties的hive.root.logger属性，但是用set命令是不行的。

显示当前数据库

set hive.cli.print.current.db=true;

显示列名称

set hive.cli.print.header=true;

向桶表中插入数据前，需要启用桶

create table t1 (id int) clustered by (id) into 4 buckets;set hive.enforce.bucketing=true;insert into table t1 select * from t2;

向桶表insert数据时，hive自动根据桶表的桶数设置reduce的个数。否则需要手动设置reduce的个数：set mapreduce.job.reduces=N（桶表定义的桶数）或者mapred.reduce.tasks，然后在select语句后加clustered by

动态分区相关

set hive.exec.dynamic.partition=true #开启动态分区set hive.exec.dynamic.partition.mode=nostrict #动态分区模式：strict至少要有个静态分区，nostrict不限制set hive.exec.max.dynamic.partitions.pernode=100 #每个mapper节点最多创建100个分区set hive.exec.max.dynamic.partitions=1000 #总共可以创建的分区数

from t insert overwrite table p partition(country, dt) select ... cuntry, dt

上面的查询在执行过程中，单个map里的数量不受控制，可能会超过hive.exec.max.dynamic.partition.pernode配置的数量，可以通过对分区字段分区解决，上面的sql改成：

distributed by country, dt;