目录1 Database|schema（数据库） DDL操作1.1 Create database1.2 Describe database1.3 Use database1.4 Drop database1.5 Alter database2 Table（表）DDL操作2.1 Describe table2.2 Drop table2.3 Truncate table2.4 Alter tabl
转载
2023-06-12 21:01:37
247阅读
Hive中自带的函数如（sum、count、split等）正常情况下已经能满足日常需求，但是如果需要更加个性化的函数就得自建。自建函数（User-Defined Functions即UDF函数） 自建函数分为3中，UDF、UDAF、UDTF。UDF（一进一出 ），UDAF （集合函数 多进一出函数），UDTF （一进多出）。一、IDEA 创建1.1 创建Maven工程 创建一个Maven的
转载
2023-08-25 07:43:30
75阅读
oracle中的database link是定义一个数据库到另一个数据库的路径的对象，database link允许你查询远程表和执行远程程序。在任何分布式环境里，dblink都是必要的，另外注意database link是单向的连接。在创建database link的时候，oracle在数据字典中存储了相关的database link的信息，在使用database link的时候，oracle再
转载
2023-10-11 07:13:22
235阅读
目录1. 创建 Maven 工程2. 开发 Java 类集成 UDF3. 项目打包，并上传到hive的lib目录下4. 添加jar包重命名 jar 包hive 客户端添加 jar包5. 设置函数与我们的自定义函数关联6. 使用自定义函数7. UDTF：User-Defined Table-Generating Functions，用户定义表生成函数udtf的使用UDAF：User- Defined
编写UDF函数(1)创建项目:(2)导入依赖:(3)继承UDF类(4)业务代码(5)打包编译(5)添加到hive类路径(6)创建临时函数(7)使用测试 Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来 方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义 函数（UDF：user-defined fu
转载
2023-07-12 11:13:30
45阅读
1、背景 Hive从0.7.0版本开始加入了索引，目的是提高Hive表指定列的查询速度。没有索引的时候，Hive在执行查询时需要加载整个表或者整个分区，然后处理所有的数据，但当在指定列上存在索引，再通过指定列查询时，那么只会加载和处理部分文件。此外，同传统关系型数据库一样，增加索引在提升查询速度的同时，会额外消耗资源去创建索引和需要更多的磁盘空间存储索引。2、原理和机制 Hive的索引其实是一张索
转载
2023-07-12 21:51:50
77阅读
平台数据仓库使用Hive进行构建，通过调研决定使用“SQL Standards Based Authorization in HiveServer2”对用户提交的SQL进行权限控制，也可根据实际情况选择是否开启“Storage Based Authorization in the Metastore Server”。 权限校验时需要识别提交SQL的用户名（即：与HiveServer2建立
转载
2023-07-31 23:40:44
59阅读
一、视图：视图中保留有原表的元数据信息，但是不会保留数据，当我们查询视图的数据的时候，可以查到，但是当我们查询真正数据的时候，这是后才会去执行建立视图的时候的SQL语句。例如：表A为执行建立视图语句：create view A_view as select * from A where dt = 2020/6/13那么当我们执行desc A_view的时候，会看到id，name这两列，当
转载
2023-08-21 15:32:33
226阅读
01 什么是Hive在关系数据库中，我们创建一张表，我们会指定表名称、列名称、列的类型、这些是表的Schema，而HDFS，文件仅仅是一个文件，他没有Schema，我们没有办法通过SQL的方式对HDFS上的数据进行查询。这时我们要对HDFS上的大数据进行处理的话，我们需要通过MapReduce进行处理。通过前面MapReduce的文章我们可以知道，MapReduce是Hadoop生态中的一个离线计
转载
2023-08-09 10:03:59
82阅读
Hive中带有一些函数，方便Hive SQL做出一些聚合、转换、分割操作。最常见的就是聚合函数（SUM，COUNT，AVG）。当然这些属于内建函数，就是当部署好Hive以后，这些函数都在，可以随时调用。查看一个函数的信息，比如查看SUM函数的信息，在Hive CLI中“desc function sum;”，如果说要详细信息：“show function extended sum;”。一、准备
转载
2023-07-12 11:16:19
106阅读
一、视图1.1 简介Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中的过滤器推送到视图中。1.2 创建视图CREATE VIEW [IF NOT EXISTS] [db_n
平台数据仓库使用Hive进行构建，通过调研决定使用“SQL Standards Based Authorization in HiveServer2”对用户提交的SQL进行权限控制，也可根据实际情况选择是否开启“Storage Based Authorization in the Metastore Server”。权限校验时需要识别提交SQL的用户名(即：与HiveServer2建立连接时使用的
转载
2023-07-14 23:10:37
86阅读
hive使用create建表语句格式如下:
转载
2023-05-27 23:13:11
242阅读
一、创建表1.建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ..
hive表分区表分区是指将数据按照物理分层的方式进行区分开，加快查询的速度，同时也起到数据快照的作用！创建分区表的关键字：partitioned by ，可以指定单个字段也可以指定多个字段； partitioned by (dt String,country string);
create table pt_test(ts bigint,line string)
partitioned by
1.create table首先我们找到官网对创建表的描述如下： ’[]’ 表示可选，’|’ 表示几选一CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later)
[(col_name dat
转载
2023-05-30 09:51:03
130阅读
如果建表语句中有类型关键字，在建表是会报NoViableAltException错误,需要在关键字上加``(这个是ESC底下那个键)
本人常用的hive命令：
1.不用启动hive就能运行建表语句
转载
2023-07-12 10:38:54
504阅读
1.创建表 (1) COMMENT：为表和列添加注释。 (2) ROW FORMAT DELIMITED 列与列之间\t分隔 行与行之间\n分隔 (3) STORED AS指定存储文件类型 常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）。如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，
转载
2023-09-03 13:18:43
100阅读
Hive 教程一、hive概述二、Hive工作原理三、在mysql中创建hive用的数据库和hive用户四、hive的三种模式1、使用内置的derby数据库做元数据的存储2、本地模式3、远程模式4、本地模式和远程模式的区别：五、启动hive六、常用操作七、hive的数据类型八、创建表1、语法2、说明5、序列化九、创建简单表十、创建表十二、视图十三、加载数据 load data [local] i
转载
2023-05-29 16:21:45
1057阅读
