Hive是如何将hql语法转换成MR执行的_hql 转为mr-CSDN博客

Hive是如何将hql语法转换成MR执行的

最新推荐文章于 2024-10-21 16:47:03 发布
最新推荐文章于 2024-10-21 16:47:03 发布
阅读量2.5w 收藏 73
点赞数 16
分类专栏： Hive/MR原理剖析/优化实战 文章标签： hive底层原理 hive如何将sql转换成MR hive底层架构 hive工作原理 hive
本文为博主原创文章，属博主老婆资产，故未经博主老婆允许不得转载。
本文链接：https://blog.csdn.net/qq_26442553/article/details/79616207
版权

       Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能.说白了，hive就是MapReduce客户端,将用户编写的HQL语法转换成MR程序进行执行。那么，hive是如何实现将hql语法转换成Mr的呢？

                    

 

        如图中所示，总的来说，Hive是通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

1）用户接口：Client

    CLI（hiveshell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

2）元数据：Metastore

元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；

默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

3）Hadoop

使用HDFS进行存储，使用MapReduce进行计算。

4）驱动器：Driver

（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。

（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

演示：可以使用explain命令，查看语法树，即hive先将sql语法转成对应的语法树

> explain select * from mytest_staff_info_demo4_cp1 

 > where statis_date='20180229'

 > order by name

 > limit 3;

OK

STAGE DEPENDENCIES:

  Stage-1 is a root stage

  Stage-0 is a root stage

STAGE PLANS:

  Stage: Stage-1

    Map Reduce

      Map Operator Tree:

          TableScan

            alias: mytest_staff_info_demo4_cp1

            Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

            Select Operator

              expressions: name (type: string), deptcode (type: string), id (type: int), account (type: string), areacode (type: string), statis_date (type: string)

              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

              Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

              Reduce Output Operator

                key expressions: _col0 (type: string)

                sort order: +

                Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

                value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: int), _col3 (type: string), _col4 (type: string), _col5 (type: string)

      Reduce Operator Tree:

        Extract

          Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

          Limit

            Number of rows: 3

            Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

            File Output Operator

              compressed: true

              Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

              table:

                  input format: org.apache.hadoop.mapred.TextInputFormat

                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0

    Fetch Operator

      limit: 3

Time taken: 0.149 seconds, Fetched: 38 row(s)

    可以看出一个hive任务分为一个或多个stage阶段。不同的stage阶段会存在依赖关系，越复杂的sql会产生越多的stage,通常也需要越多的时间，通常像我们公司（top3电商）在IDE平台上任务的执行时间一般不要超过45分钟，否则最好分割优化任务。

还可以使用explain extended 查看更多信息。

> explain extended select * from mytest_staff_info_demo4_cp1 

> where statis_date='20180229'

> order by name

> limit 3;

OK

ABSTRACT SYNTAX TREE:

TOK_QUERY

   TOK_FROM

      TOK_TABREF

         TOK_TABNAME

            mytest_staff_info_demo4_cp1

   TOK_INSERT

      TOK_DESTINATION

         TOK_DIR

            TOK_TMP_FILE

      TOK_SELECT

         TOK_SELEXPR

            TOK_ALLCOLREF

      TOK_WHERE

         =

            TOK_TABLE_OR_COL

               statis_date

            '20180229'

      TOK_ORDERBY

         TOK_TABSORTCOLNAMEASC

            TOK_TABLE_OR_COL

               name

      TOK_LIMIT

         3 

STAGE DEPENDENCIES:

  Stage-1 is a root stage

  Stage-0 is a root stage

STAGE PLANS:

  Stage: Stage-1

    Map Reduce

      Map Operator Tree:

          TableScan

            alias: mytest_staff_info_demo4_cp1

            Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

            GatherStats: false

            Select Operator

              expressions: name (type: string), deptcode (type: string), id (type: int), account (type: string), areacode (type: string), statis_date (type: string)

              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

              Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

              Reduce Output Operator

                key expressions: _col0 (type: string)

                sort order: +

                Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

                tag: -1

                value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: int), _col3 (type: string), _col4 (type: string), _col5 (type: string)

      Path -> Alias:

        hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/mytest_staff_info_demo4_cp1/statis_date=20180229 [mytest_staff_info_demo4_cp1]

      Path -> Partition:

        hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/mytest_staff_info_demo4_cp1/statis_date=20180229

          Partition

            base file name: statis_date=20180229

            input format: org.apache.hadoop.mapred.TextInputFormat

            output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

            partition values:

              statis_date 20180229

            properties:

              bucket_count -1

              columns name,deptcode,id,account,areacode

              columns.comments

              columns.types string:string:int:string:string

              field.delim

              file.inputformat org.apache.hadoop.mapred.TextInputFormat

              file.outputformat org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

              location hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/mytest_staff_info_demo4_cp1/statis_date=20180229

              name fdm_sor.mytest_staff_info_demo4_cp1

              partition_columns statis_date

              partition_columns.types string

              serialization.ddl struct mytest_staff_info_demo4_cp1 { string name, string deptcode, i32 id, string account, string areacode}

              serialization.format  

              serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

              transient_lastDdlTime 1521166440

            serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

              input format: org.apache.hadoop.mapred.TextInputFormat

              output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

              properties:

                bucket_count -1

                columns name,deptcode,id,account,areacode

                columns.comments

                columns.types string:string:int:string:string

                field.delim      

                file.inputformat org.apache.hadoop.mapred.TextInputFormat

                file.outputformat org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

                location hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/mytest_staff_info_demo4_cp1

                name fdm_sor.mytest_staff_info_demo4_cp1

                partition_columns statis_date

                partition_columns.types string

                serialization.ddl struct mytest_staff_info_demo4_cp1 { string name, string deptcode, i32 id, string account, string areacode}

                serialization.format       

                serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

                transient_lastDdlTime 1519780670

              serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

              name: fdm_sor.mytest_staff_info_demo4_cp1

            name: fdm_sor.mytest_staff_info_demo4_cp1

      Truncated Path -> Alias:

        /fdm_sor.db/mytest_staff_info_demo4_cp1/statis_date=20180229 [mytest_staff_info_demo4_cp1]

      Needs Tagging: false

      Reduce Operator Tree:

        Extract

          Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

          Limit

            Number of rows: 3

            Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

            File Output Operator

              compressed: true

              GlobalTableId: 0

              directory: alluxio-ft://namenode1-sit.cnsuning.com:19998/user/finance/tmp/hive-finance/hive_2018-03-19_09-35-04_376_4971094765120649963-1/-ext-10001

              NumFilesPerFileSink: 1

              Statistics: Num rows: 0 Data size: 195 Basic stats: PARTIAL Column stats: NONE

              Stats Publishing Key Prefix: alluxio-ft://namenode1-sit.cnsuning.com:19998/user/finance/tmp/hive-finance/hive_2018-03-19_09-35-04_376_4971094765120649963-1/-ext-10001/

              table:

                  input format: org.apache.hadoop.mapred.TextInputFormat

                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

                  properties:

                    columns _col0,_col1,_col2,_col3,_col4,_col5

                    columns.types string:string:int:string:string:string

                    escape.delim \

                    hive.serialization.extend.nesting.levels true

                    serialization.format 1

                    serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

              TotalFiles: 1

              GatherStats: false

              MultiFileSpray: false 

  Stage: Stage-0

    Fetch Operator

      limit: 3

Time taken: 0.151 seconds, Fetched: 133 row(s)

(02)Hive SQL编译成MapReduce任务的过程
爱吃辣条的博客
02-12 2722
Hive SQL编译成MapReduce的过程
一个HQL语句是如何转换成MR任务的？
石榴姐yyds
08-22 1376
可 以 知 道 我 们 执 行 HQL 主 要 依 赖 于 $HIVE_HOME/bin/hive 和 $HIVE_HOME/bin/hivesever2 两种脚本来实现提交 HQL，而在这两个脚本中，最终启动的 JAVA 程序的主类为，所以其实 Hive 程序的入口就是“CliDriver”这个类。（2）服务端接收到客户端的服务请求会启动一个。该类主要完成以下功能1）解析客户端的-e,-f等参数2）定义标准的输入输出流3）按照;切分HQL语句。可以执行以分号隔开的多个SQL语句，按顺序执行。
大数据开发入门之Hive知识点归纳
最新发布
qq_43249097的博客
10-21 859
在从事大数据开发领域工作的同时，愈发觉得大数据组件实在太多了！！！有时候分不清哪些是重点，为了总结经验和知识点，更深入的了解各大数据架构原理等内容，也为了便于后续继续在该领域的择业过程，特别总结一份最强大数据知识点笔记，用于分别进行各组件内容的学习和记录。本章主要针对的是Hive相关的内容，后续会不断扩充和总结。加油，大家一起共勉！大家如果有关键核心的Hive相关的知识点，日常生产中发现的问题，都可以一起沟通下~
Hive 以 MR 为执行引擎，把 hive-exec-xxx.jar 为 job.jar
houzhizhen的专栏
08-18 217
Hive 以 MR 为执行引擎时，每次上传 ${HIVE_HOME}/lib/hive-exec-${HIVE_VERSION}.jar 为 job.jar
Hive切换引擎(MR、Tez、Spark)
kc44601的博客
02-19 1423
hive切换计算引擎 mr tez spark
更改hive计算引擎
weixin_45631366的博客
05-13 1524
更改hive计算引擎（默认值是MR） 在hive-site.xml文件中添加如下配置（永久生效）， 或者进入hive后执行命令 注意：只在当前窗口生效： set hive.execution.engine=tez ...
Hive、MR 一些简单笔记
aicyo8644的博客
03-02 218
Hive是数据库文件管理组件 Hive中存储的数据是以文件的形式存储，当使用Hive语法时（非常类似与SQL），Hive会呗转换成可执行的MapReduce作业，自动去执行 Hive的内容例子： 　　1,张三,男 　　2,李四,女 其中，“,”字段分割规则，在建表时定义，其他的“1”，“张三”，“男”都是字段的内容，这些所有数据都是以文件的形式存储 　一个表对应着一个文...
Hive-4.hive 的 性能调优
艾文
01-27 3465
1. 使用EXPLAIN 通过EXPLAIN功能，可以帮助我们了解如何将查询转化成MapReduce任务的。   1、使用explain查看hive如何将查询转化成MapReduce任务的 1.1 创建表 create table onecol(number int) 1.2 初始化数据并加载 [hadoop@mycluster ~]$ vi onecol  1
【硬刚Hive】HIVE源码(3):HQL 转换为 MR 源码详细解读(2)
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 416
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 3.6 processLocalCmd 方法 3.7 qp.run(cmd)方法 ....
Hive系列三 HQL操作
m0_46621363的博客
09-30 238
一，DDL命令 DDL（data definition language）： 主要的命令有CREATE、ALTER、DROP等。 DDL主要是用在定义、修改数据库对象的结构 或 数据类型。 1.数据库操作 创建数据库语法 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [MANAGEDLOCATION hdfs_path] [
hive概述及HQL之DDL、DML、DQL 06
自律
08-19 881
一、Hive基本概念 1.1 Hive是什么 Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，所提供的类SQL查询语言叫做HQL。 Hive的本质是一个翻译工具，将HQL语句转化为MapReduce程序在Haoop平台执行，Hive使用MapReduce完成数据计算，数据存储在Hdfs之上，所以可以认为Hive是Hadoop的一个客户端。 1.2
sql转换hql工具
07-05
之前写好SQL，再到代码里面来写，语句复杂的看的时不时细节会忘记，用sql转换hql工具，直接贴近了就可以了；
Hive切换计算引擎
BabyFish13
10-16 3788
1、默认计算引擎mr set hive.execution.engine=mr; 2、spark计算引擎 set hive.execution.engine=spark; set spark.executor.cores=2; set spark.executor.memory=10G; set spark.executor.instances=10; set hive.mapred.m...
Hive 核心组件回顾
weixin_45417821的博客
07-26 600
Hive的核心组成介绍 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore 3）Hadoop 使用 HDFS 进行存储，使用 MapRedu
关于hibernate从数据库中获得pojo值的一些小细节
zhou2003737的专栏
05-20 934
原生SQL查询执行的控制是通过SQLQuery接口进行的，通过执行Session.createSQLQuery()获取这个接口。下面来描述如何使用这个API进行查询。标量查询（Scalar queries）最基本的SQL查询就是获得一个标量（数值）的列表。sess.createSQLQuery("SELECT * FROM CATS").list();sess.createSQLQuery("SE
hivesql是如何转化为MR任务的？以join、group by、distinct来说明原理
攻城狮Kevin
10-10 2897
（1）hive并不是所有的查询都需要走MR hive的优化中fetch抓取，就是修改配置文件参数hive.fetch.task.conversion为more 这样全局查找、字段查找、过滤查询、limit查询，都不会走MR，直接fetch抓取，提高查询效率（其余的还是走MR） ps：该参数设置为none时，所有任务转化为MR，一般默认是more （2）hive中需要走MR的sql，通常涉及key的shuffle，比如join、group by、distinct等 以下参照链接：HiveSQL转化
hive中数据更新以及实现
热门推荐
子小的博客
03-12 1万+
问题 hive暂时没有实现更新操作的，所以要更新数据就要通过自己手动进行更新。 拿业务数据来说，使用sqoop脚本是可以直接把全量数据抽取到hive中，sqoop也有两种增量抽取数据的方法，一种是基于自增列，一种是基于时间列。可以参考：https://editor.csdn.net/md/?articleId=102798126。但是这两种方法里面是只可以把新增的数据拉去过来的，变化的数据是没有抽...
Hive - 常用sql整理
qq_34735235的博客
01-28 2040
一、实现13位时间戳转毫秒时间类型 select concat(t,".",substring(1611231717343,11,13)) from( select from_unixtime(cast(substring(1611231717343,0,10) as bigint),'yyyy-MM-dd HH:dd:ss') as t)tmp;
Hive：用SQL对数据进行操作，导入数据、清洗脏数据、统计数据订单、优化结果输出等等
博樽
11-11 1万+
准备数据、了解数据、将数据导入hive；如何清洗第一行的脏数据？每个用户有多少个订单？ (分组)；每个用户一个订单平均是多少商品？一个订单有多少个商品？ 一个用户有多少商品？进行用户对应的商品数量 sum求和； 一个用户平均一个订单有多少个商品？ 每个用户在一周中的购买订单的分布? 一个用户平均每个购买天中，购买的商品数量？每个用户最喜爱购买的三个商品product是什么？
Hive如何将Hql转化为mapreduce;
06-08
在Hive中，将HQL转换为MapReduce作业的过程称为查询编译。查询编译器将HQL查询转换为一系列MapReduce作业...总之，Hive将HQL转换为MapReduce作业的过程是一个复杂的过程，其中包括语法分析、优化和作业调度等多个步骤。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涤生大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值