hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。


Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和 reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。


Hive没有专门的数据格式。 Hive可以很好的工作在Thrift 之上,控制分隔符,也允许用户指定数据格式。


本课程由浅入深,介绍了Hive基本架构及环境部署,带领大家认识数据仓库Hive的优势及Hive具体使用。并通过企业实际需求分析,讲解HiveQL中的DDL和DML的使用,以及常见的性能优化方案。


完整版课程链接: https://pan.baidu.com/s/1RKx__McxMdF9xaP-7-zzQQ 提取码: wes6

-----------------------------------------

课程简介:

课程由浅入深,介绍了Hive基本架构及环境部署,带领大家认识数据仓库Hive的优势及Hive具体使用。并通过企业实际需求分析,讲解HiveQL中的DDL和DML的使用,以及常见的性能优化方案。


课程目录:

第1章:Hive基本架构及环境部署

1.MapReduce分析与SQL分析对比

2.Hive的介绍及其发展

3.Hive的安装部署及启动

4.Hive的基本架构讲解

5.安装MySQL作为元数据库存储

6.配置Hive使用MySQL作为元数据库存储

7.Hive中基本命令的使用

8.Hive中常用的属性配置

9.Hive中常用的交互式命令

10Hive中数据库的管理与使用

11.Hive中表的管理与使用

12.Hive中外部表的使用


第2章:Hive 常用DML、UDF及连接方式

13.Hive中分区表的介绍

14.Hive中分区表的创建及使用

15.Hive中数据导入的6种方式及其应用场景

16.Hive中数据导出的4种方式及表的导入导出

17.Hive中HQL的基本语法(一)

18.Hive中HQL的基本语法(二)

19.Hive中order by、sort by、distribute by与cluster by的使用

20.Hive中分析函数与窗口函数

21.Hive中UDF的介绍

22.Hive中使用自定义UDF实现日期格式转换

23. HiveServer2的介绍及三种连接方式

24.Hive元数据、fetch task和严格模式的介绍


第3章:Sqoop Sqoop及用户行为分析案例

25.CDH版本框架的介绍

26. CDH版本框架的环境部署

27.Sqoop的介绍及其实现原理

28.Sqoop的安装部署及连接测试

29.Sqoop将MySQL数据导入到HDFS(一)

30.Sqoop将MySQL数据导入到HDFS(二)

31.Sqoop中的增量导入与Sqoop job

32.Sqoop将MySQL数据导入Hive表中

33.Sqoop的导出及脚本中使用的方式

34.案例分析-动态分区的实现

35.案例分析-源表的分区加载创建

36.案例分析-指标分析使用Sqoop导出


第4章:Hive复杂用户行为案例分析及优化

37.自动批量加载数据到hive

38.Hive表批量加载数据的脚本实现(一)

39.Hive表批量加载数据的脚本实现(二)

40.HIve中的case when、cast及unix_timestamp的使用

41.复杂日志分析-需求分析

42.复杂日志分析-需求字段讲解及过滤

43.复杂日志分析-字段提取及临时表的创建

44.复杂日志分析-指标结果的分析实现

45.Hive中数据文件的存储格式介绍及对比

46.常见的压缩格式及MapReduce的压缩介绍

47.Hadoop中编译配置Snappy压缩

48.Hadoop及Hive配置支持snappy压缩

49.Hive中的常见调优

50.Hive中的数据倾斜及解决方案-三种join方式

51.Hive中的数据倾斜及解决方案-group by

52.Hive中使用正则加载数据

53. Hive中使用Python脚本进行预处理


第5章:Zeus任务资源调度工具

54.资源任务调度框架介绍

55.企业中常见的任务调度框架

56.Zeus的介绍及基本实现原理

57.Zeus安装部署-基本环境配置

58.Zeus安装部署-配置文件的修改

59.Zeus安装部署-编译打包

60.Zeus平台的调度使用

61.Zeus平台实现任务调度应用(一)

62.Zeus平台实现任务调度应用(二)

63.Zeus平台实现任务调度应用(三)