转载
2021-09-13 10:32:13
278阅读
Hive 是什么? 1.Hive 是基于 Hadoop处理结构化数据的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 2.Hive 利用 HDFS 存储数据，利用MapReduce 查询分析数据。本质是将 SQL 转换为 MapReduce 程序,比直接用 MapReduce 开发效率更高。 Hive通常是存储在关系数据库如
本节结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。Hive 底层执行架构我们先来看下 Hive 的底层执行架构图， Hive 的主要组件与 Hadoop 交互的过程：Hive底层执行架构
原理： 由 Facebook 开发的开源的数据统计工具。 是基于 Hadoop 的一个数据仓库工具。 本质：将 HQL/SQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运行在 Yarn 上Hive的优缺点：优点： 1）操作接口采用类 SQL 语法，提供快速开发的能力 2）不用去写 MapRedu
转载
2023-07-14 12:52:32
49阅读
Hive SQL的基本模式可以分为三类：select语句：比如select order _id, buyer_id,cate_name from orders_table where day=' 20170101' and cate_name=’ iphone7';，实际中where条件可能更为复杂并且会有and/or等各种组合。Hive SQL是被翻译成MapReduce任务执行的，所以Hive
转载
2023-06-19 10:47:56
243阅读
今天思考on，where，having的执行顺序，联想到了整个sql语句的执行顺序。sql语句的执行顺序为(1) from (2) on (3) join (4) where (5) group by, count, sum, avg(6) having (7) select (8) distinct (9) order by (10)limit从这个顺序中我们可以看出所有的查询语句都是从from
转载
2023-07-12 19:19:43
499阅读
# Hive SQL执行过程
## 概述
Hive是基于Hadoop的数据仓库基础设施，用于处理大规模数据集。Hive使用类SQL语言称为HiveQL来查询和分析数据。本文将介绍Hive SQL的执行过程，帮助刚入行的小白理解如何执行Hive SQL语句。
## 流程图
```mermaid
flowchart TD
A[解析SQL] --> B[生成逻辑执行计划]
B -->
原创
2023-11-07 07:31:03
54阅读
## Hive SQL 执行过程
在使用 Hive 进行数据分析时，我们通常会使用 Hive SQL 查询数据。了解 Hive SQL 的执行过程可以帮助我们更好地优化查询和提高执行效率。下面我们来详细介绍一下 Hive SQL 的执行过程。
### Hive SQL 执行过程概述
Hive SQL 查询的执行过程可以分为以下几个步骤：
1. 解析查询语句：Hive 首先会解析查询语句，分
一、概念：1、结构化和非结构化数据结构化数据：固有的键值对非结构数据：没有固定的键值对，没有明确的映射关系所以就可以理解下面这句话：hive是由facebook开源用于解决海量结构化日志的数据统计项目。2、Hive是基于Hadoop文件系统上的数据仓库架构，它为数据仓库的管理提供了许多功能：数据ETL(抽取、转换和加载)、数据存储管理和大型数据集的查询和分析能力。RDBMS(关系型数据库)OLTP
转载
2023-08-24 22:28:57
69阅读
HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作一、MapReduce实现基本SQL操作的原理1、join的实现原理Map Join的实现原理CommonJoinResolver优化器Reduce Join的实现原理3、Group By的实现原理二、SQL转化为MapReduce的过程 Hive是基于Hadoop的一个数据仓库系统，在各大公
转载
2023-07-12 21:15:50
138阅读
认识 HiveHive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 MapRed
转载
2023-10-27 14:41:14
117阅读
目录0 数据准备1 执行计划分析及验证2 小结0 数据准备create table follow
(
user_id int,
follower_id int
)row format delimited
fields terminated by '\t';
insert into follow values (1,2);
insert into follow values
本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析 Hive SQL 底层原理。第一节先介绍 Hive 底层的整体执行流程，然后第二节介绍执行流程中的 SQL 编译成 MapReduce 的过程，第三节剖析 SQL 编译成 MapReduce 的具体实现原理。 Hive Hive是什么？Hive ...
转载
2021-10-19 11:51:00
110阅读
2评论
# 查看Hive SQL执行过程
Hive是基于Hadoop的数据仓库基础设施，提供了类似于SQL的查询语言HiveQL，用于处理和分析大规模的结构化数据。在使用Hive进行数据处理时，了解Hive SQL的执行过程可以帮助我们优化查询性能和调试问题。
本文将介绍Hive SQL的执行过程，并通过代码示例和序列图来展示每个步骤的具体执行过程。
## Hive SQL执行过程概述
Hive
原创
2023-11-14 12:40:33
140阅读
大体理解为：hive会对写好的sql语句进行拆解，按执行顺序拆分红树结构(AST)交给mapreduce处理；htmlhive对不一样DML/DDL关键字有不一样的反应，比较敏感的有select、from、join、group by、distinct、insert等；sql对查询语句，hive首先会先根据from找到数据源(metastore)，而后从查询内部开始找用到的字段及其类型，看语句要求对
转载
2023-07-12 09:10:05
73阅读
Hive SQL 编译成MapReduce过程 编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段：词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree； Antlr是一种语言识别的工具，可以用来构造领域语言。使
Hive sql是Hive 用户使用Hive的主要工具。Hive SQL是类似于ANSI SQL标准的SQL语言，但是两者有不完全相同。Hive SQL和Mysql的SQL方言最为接近，但是两者之间也存在着显著的差异，比如Hive不支持行级数据的插入、更新和删除，也不支持事务操作。 注: HIVE 2.*版本之后开始支持事务功能，以及对单条数据的插入更新等操作Hive的相关概念Hive数据库
转载
2023-08-23 21:10:24
64阅读
目录 1.hive架构什么是HiveHive架构Hive优点Hive使用场景Hive的执行流程2.sql如何转为mapreduce程序的1.hive架构什么是HiveHive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce
转载
2023-08-27 16:38:50
136阅读
学会explain，能够给我们工作中使用 hive 带来ho极大的便利！
转载
2021-07-13 16:00:33
10000+阅读
不懂hive中的explain，说明hive还没入门，学会explain，能够给我们工作中使用hive带来极大的便利！理论 本节将介绍 explain 的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助使用语法如下：EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORI
原创
2021-02-20 20:45:47
1402阅读
