Hive JSON数据处理


文章目录

  • Hive JSON数据处理
  • 将JSON保存为字符串，用JSON函数处理
  • get_json_object
  • json_tuple
  • 用JSON Serde加载数据


将JSON保存为字符串，用JSON函数处理

  • 使用get_json_object、json_tuple实现将JSON数据中每个字段独立解析出来，构建成表。

get_json_object

  • 用于解析JSON字符串，可以从JSON字符串中返回指定的某个对象列的值。
  • 每次只能返回JSON对象中一列的值。
  • 语法：
    json_txt：指定要解析的JSON字符串
    path：指定要返回的字段，通过$.columnName的方式来指定path
get_json_object(json_txt,path)
  • 例：
SELECT
	-- 获取设备名称
	GET_JSON_OBJECT(json,"$.device") AS device
	GET_JSON_OBJECT(json,"$.time") AS time
FROM tb_json_test1;

json_tuple

  • 用于实现JSON字符串的解析，可以通过指定多个参数来解析JSON返回多列的值
  • 一次可以返回多列值，属于UDTF类型函数，一般搭配lateral view使用
  • 返回的每一列都是字符串类型
  • 语法：
    jsonStr：指定要解析的JSON字符串
    p1：指定要返回的第1个字段
    …
    pn：指定要返回的第n个字段
json_tuple(jsonStr,p1,p2,...,pn)
  • 例：
SELECT
	json,device,stime
FROM tb_json_text1
	LATERAL VIEW JSON_TUPLE(json,"device","time") b
	AS device,stime;

用JSON Serde加载数据

  • 建表时指定Serde，加载JSON文件到表中，会自动解析为对应的表格式。
  • 例：此代码为建表部分，加载数据部分没有变化
CREATE TABLE tb_json_test2(
	device STRING,
	`time` STRING
) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
  STORED AS TEXTFILE;