我们知道，Hive默认使用的计算引擎是MR，但有没有想过我们写的HQL语句是如何转换为MR程序的？
所以博主总结了一些简单HQL语句转换为MR的基本原理
【1】常用SQL转换操作
Join的实现原理
对于SQL来说，join操作可以说是最常用的操作了，那么是如何转换为MR程序的呢？
SQL语句如下👇
select u.name, o.orderid from order o join user u on o.uid = u.uid;在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下（这里只是说明最基本的Join的实现，还有其他的实现方式）
Group By的实现原理
SQL语句如下👇
select rank, isonline, count(*) from city group by rank, isonline;将GroupBy的字段组合为map的输出key值，利用MapReduce的Reduce数据拉取规则（即将相同key的数据分为一组）实现Group By操作。MapReduce的过程如下
Distinct的实现原理
情况1
SQL语句如下👇
select dealid, count(distinct uid) num from order group by dealid;当只有一个distinct字段时，如果不考虑Map阶段的Hash GroupBy，只需要将GroupBy字段和Distinct字段组合为map输出key，利用mapreduce的排序，同时将GroupBy字段作 为reduce的key，在reduce阶段保存LastKey即可完成去重
情况2
SQL语句如下👇
select dealid, count(distinct uid), count(distinct date) from order group by dealid;第二种实现方式，可以对所有的distinct字段编号，每行数据生成n行数据，那么相同字段就会分别排序，这时只需要在reduce阶段记录LastKey即可去重。这种实现方式很好的利用了MapReduce的排序，节省了reduce阶段去重的内存消耗，但是缺点是增加了shuffle的数据量。需要注意的是，在生成reduce value时，除第一个distinct字段所在行需要保留value值，其余distinct数据行value字段均可为空
【2】SQL转化为MapReduce的过程
了解了MR实现SQL基本操作之后，我们来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：
- 1、Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree
- 2、遍历AST Tree，抽象出查询的基本组成单元QueryBlock
- 3、遍历QueryBlock，翻译为执行操作树OperatorTree
- 4、逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量
- 5、遍历OperatorTree，翻译为MapReduce任务
- 6、物理层优化器进行MapReduce任务的变换，生成最终的执行计划
