一，读取流程

  • 1，客户端首先从zookeeper获取元数据所在的region server
  • 2，客户端获取元数据，根据用户条件确定数据所在server、region，并发向这些server请求数据
  • 3，server构建三层扫描器，从region、store、hfile三个层面进行过滤
  • 4，首先根据rowkey定位到region
  • 5，定位到region后，接下来定位数据所在的hfile：根据rowkey结合rowkey、timestamp、布隆过滤器，过滤没有要查询的数据的hfile
  • 6，在hfile中定位到block：hfile中存储着block的索引，索引是map结构，key称之为blockkey，值为block中第一个rowkey。可以根据blockkey初步判断当前block是否存在要查找的数据
  • 7，定位到block之后，从BlockCache中查询是否有block缓存，有则从缓存读取；
  • 8，若无block缓存，需要从hdfs中读取；

二，索引思考

1，hbase为了快速读取，有什么索引机制？

首先，在元数据中，有region server存储的rowkey范围，可以快速的查找到region sever，准确的说是定位到具体的region

其次，region有多个store构成，store有多个hfile构成，数据存储以block为单位。第一步，根据每个hfile的rowkey和timestamp以及布隆过滤器过滤掉不需要的hfile，再根据每个hfile维护的block索引结合rowkey定位到block块。

这就是hbase的索引机制。当然，为了提高读取效率，还有很多其他的措施，比如blcokcache、memory store。