二元比较操作符,比较变量或者比较数字.注意数字与字符串的区别.
整数比较
-eq 等于,如:if [ "$a" -eq "$b" ]
-ne 不等于,如:if [ "
转载
2023-07-14 23:56:50
41阅读
**解决Hive换行后如何回到之前行的问题**
## 1. 问题描述
在Hive中，当一条SQL语句很长时，我们可以通过换行来提高代码的可读性。然而，有时在换行后我们需要回到之前的行继续编写代码，这时就会遇到问题。Hive中的换行符是"\"，但是如果我们在换行后需要回到之前的行，使用"\"是行不通的。
本文将介绍一种解决Hive换行后如何回到之前行的方案，通过使用Hive的多行注释和连接符来
原创
2023-10-23 05:35:11
173阅读
# 项目方案：使用Hive进行数据总量统计
## 1. 项目背景
在大数据领域中，数据总量统计是一个常见的需求。Hive作为Hadoop生态系统中的一个重要组件，提供了SQL-like的查询语言，可以方便地对大规模数据进行查询和分析。本项目将利用Hive来实现数据总量的统计，以满足对数据规模的快速了解和分析的需求。
## 2. 方案概述
本项目的目标是使用Hive来统计数据总量。具体来说，
原创
2023-12-02 09:36:06
24阅读
# Hive Select: 显示数组的大小
在数据处理中，数组是一种非常常见的数据结构，用于存储一组相关的值。在Hive中，我们可以使用数组来存储和操作数据。然而，有时候我们可能需要知道数组的大小，即数组中元素的数量。本文将介绍在Hive中如何通过SELECT语句显示数组的大小。
## Hive中的数组
在Hive中，数组是一种复杂数据类型，用于存储多个值。数组可以是任何数据类型的集合，如
原创
2023-12-29 05:47:07
80阅读
需求：hive中有很多表，他们的存储量很大，磁盘吃紧，为了以后能清楚的看到hive库中最大的10张表，所以需要做一个展示。
转载
2023-05-27 23:25:54
118阅读
全排序：order by对全部所有的数据进行排序，在实现的时候是放到一个reduce中进行的，可以想象这样做效率是比较低的；局部排序：sort by对数据进行分组，然后在组内进行排序，每个reduce分别进行自己的排序； row_num()函数:row_num函数通常用over(partition by id)，把后面相同id的划分为一组，对这一组内的数据来进行排列；dist
转载
2023-06-12 20:58:31
216阅读
Hive ---- 文件格式和压缩1. Hadoop压缩概述2. Hive文件格式1. Text File2. ORC3. Parquet3. 压缩1. Hive表数据进行压缩2. 计算过程中使用压缩 1. Hadoop压缩概述为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端
转载
2023-08-04 11:25:02
72阅读
目前 hive 支持的复合数据类型有以下几种：arrays: ARRAY<\data_type> (Note: negative values and non-constant expressions are allowed as of Hive 0.14.)
maps: MAP<\primitive_type, data_type> (Note: negative va
转载
2023-07-12 11:10:42
549阅读
一、复杂数据类型在hive中使用复杂数据类型的优缺点好处：由于复杂数据类型的存储数据比基本数据类型要多，在存盘上存储可以连续存储，在查询等操作时可以减少磁盘IO。坏处：复杂数据类型可能会存在着数据的重复，而且有更大的导致数据不一致的风险。hive中的复杂数据类型主要有array、map、struct三种，三种数据类型有其独特的使用场景。1、ARRAYarray即数组，array中的数据类型都是统一
转载
2023-08-14 14:03:00
138阅读
总结：
• hive中复杂数据类型包括数组（array）、映射（map）和结构体（struct）
• array
• COLLECTION ITEMS TERMINATED BY ‘,’ 指定数组中每个元素的分割符
• size（列） 该array多少元素
• 列[下标] 取出array这一列的某个元素
转载
2023-07-12 10:36:34
426阅读
1.Hive表的基本数据类型 tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, decimal, char, varchar, date2.Hive表的集合类型 Array：ARRAY类型是由一系列相同数据类型的元素组成, 这些元素可以通过下标来访问,例 : array[1]
转载
2023-09-08 12:46:38
130阅读
Hive:数据类型及其基础使用1. Array1.在建含有数组的表时，数组字段的类型为array<string>
2.需要指定数组中的元素分隔符，下面使用 "," 来分隔
collection items terminated by ','
3.通过xxx[index] 选取某个数组中的元素，其中xxx为数组字段名，index为下标。– 举例：1）数据：重庆市 渝中区,江北区,南岸区
转载
2023-07-14 12:11:13
123阅读
# 了解Hive分析大小
在大数据领域，Hive是一个常用的数据仓库工具，被广泛用于数据存储和分析。通过Hive，我们可以使用SQL语句来查询和分析大规模数据集。在实际应用中，我们经常需要对数据集的大小进行分析，以便更好地优化查询和处理过程。本文将介绍如何使用Hive来分析数据集的大小，并通过代码示例演示具体操作步骤。
## 什么是Hive分析大小
Hive分析大小是指通过Hive工具来获取
# Hive 数组
Hive 是一种基于 Hadoop 的数据仓库基础设施，用于数据汇总、查询和分析。它提供了一种类似于 SQL 的查询语言，称为 HiveQL，使得用户可以使用类似于 SQL 的语法来查询和操作存储在 Hadoop 中的数据。Hive 提供了丰富的数据类型，包括数组。
## 什么是 Hive 数组
在 Hive 中，数组是一种复杂的数据类型，用于存储具有相同数据类型的多个元
原创
2023-08-21 08:03:58
200阅读
字符串函数在hive中经常使用，本篇博客将记录一些常用的字符串函数（持续更新）1、字符串分割函数：split语法: split(string str, string regex)返回值: array说明: 按照 pat 字符串分割str,会返回分割后的字符串数组举例:hive> select split("hadoop_spark_hive","_") from stringTes
转载
2023-06-08 22:15:09
648阅读
## 从Hive到数组：数据处理的新思路
数据处理是现代科技时代中非常重要的一部分。在处理大规模数据时，Hive是一个非常受欢迎的工具，它可以让用户以类似SQL的语法查询和分析数据。但有时候我们需要将Hive中的数据转换成数组，以便进行更复杂的分析或处理。本文将介绍如何将Hive中的数据转换成数组，并给出相应的代码示例。
### Hive数据处理
Hive是一个建立在Hadoop之上的数据仓
Hive sql实现随机取值 hive中不能直接实现randomchoice 需要借助数组下标（数组字符不可以随机，但是下标是数字可以随机），思路： 1.将字符串根据’,'切割，变为数组 2.floor(rand()*size(arr))获取数组长度范围内的随机数，此处数组长度为4，取0-4 之前的随机数 3.根据下标取值代码如下select arr[cast(floor(rand()*size(
转载
2023-06-02 11:17:23
286阅读
问题我们都知道，Hive 内部提供了大量的内置函数用于处理各种类型的需求，参见官方文档：Hive Operators and User-Defined Functions (UDFs)。我们从这些内置的 UDF 可以看到两个用于解析 Json 的函数：get_json_object 和 json_tuple。用过这两个函数的同学肯定知道，其职能解析最普通的 Json 字符串，如下：hive (de
转载
2023-11-28 21:01:05
95阅读
集合数据类型数据类型 描述 语法示例 STRUCT(结构体)对象 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP 映射 MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，
转载
2023-06-02 09:40:23
2023阅读
在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。Hive自带的json解析函数1. get_json_object语法：get_json_object(json_string, '$.key')说明：解析json的字符串json
