文章目录

  • 一、元数据
  • 1、什么是元数据
  • 2、Hive Metadata
  • 3、Hive Metastore
  • 二、Hive初体验


一、元数据

1、什么是元数据

元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

2、Hive Metadata

  • Hive Metadata就是Hive的元数据；
  • 包含用Hive创建的database、table 、表的位置、类型、属性、字段顺序类型等元信息；
  • 元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。

3、Hive Metastore

  • Metastore就是元数据服务，Metastore服务的作用是管理metadata元数据，对外暴露服务地址，让各种客户端通过连接metastore服务，由metastore再去连接MySQL数据库来存取元数据；
  • 有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore服务即可。某种程度上也保证了hive元数据的安全。

hive元数据表结构 hive表中的元数据包括哪些_hadoop

二、Hive初体验

1、Hive与MySQL

  • Hive SQL语法和标准SQL很类似，使得学习成本降低不少；
  • Hive底层是通过MapReduce执行的数据插入动作，所以速度慢；
  • 如果大数据集这么一条一条插入的话是非常不现实的，成本极高；
  • Hive应该具有自己特有的数据插入表方式，结构化文件映射成为表。

2、Hive想要将结构化数据映射成为表，就需要注意创建表时，字段顺序、字段类型要和文件中保持一致；如果类型不一致，hive会尝试转换，但是不保证转换成功。不成功显示null。

3、Hive不适合处理小数据

  • Hive底层的确是通过MapReduce执行引擎来处理数据的；
  • 执行完一个MapReduce程序需要的时间不短；
  • 如果是小数据集，使用hive进行分析将得不偿失，延迟很高
  • 如果是大数据集，使用hive进行分析，底层MapReduce分布式计算，很快。