本次查询只查询一个员工表

【Hive】DML中的四个by_升序

字段名分别是
empno，ename，job，mgr，hiredate，sal，comm，deptno

全局排序(order by)

全局排序(order by)：只有一个Reducer
asc：升序，是默认的
desc：降序
order by 子句在 SELECT 语句的结尾

  • 查询员工信息按工资升序排列
    select * from emp order by sal;
    【Hive】DML中的四个by_sql_02

  • 查询员工信息按工资降序排列
    select * from emp order by sal desc;
    【Hive】DML中的四个by_sql_03

Reduce内部排序(sort by)

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排 序，此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集 来说不是排序。

  • 设置 reduce 个数
set mapreduce.job.reduces=3;
  • 查看设置 reduce 个数
 set mapreduce.job.reduces;

【Hive】DML中的四个by_java_04

  • 根据部门编号降序查看员工信息

select * from emp sort by deptno desc;

【Hive】DML中的四个by_java_05

分区(distributed by)

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为 了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。
对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute by 的效果。

  • 先按照部门编号分区，再按照员工编号降序排序
    select * from emp distribute by deptno sort by empno desc;
    【Hive】DML中的四个by_升序_06
  • 注意
    ➢distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后， 余数相同的分到一个区。
    ➢Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。
Cluster by

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序 排序，不能指定排序规则为 ASC 或者 DESC。

  • 以下两种写法等价
select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一 个分区里面去。