- HBase是什么妖怪？
要解释HBase，我们就先说一说经常接触到的RDBMS，即关系型数据库：
一、mysql：
- 有开源社区版本的，有企业收费版本的
- 遵循主从架构
- 端口号：3306
- sqlserver：
- 微软公司开发的产品，主要用于windows平台下的项目
- 端口号：1433
二、 oracle：
- 超强的集群性能
- 端口号：1521
三、 HBase：
- 灵感来自于Google的BigTable论文
- 一般于Hadoop结合使用，是Hadoop项目的子项目
- 基于key-value的形式存储数据
- 高性能，高可靠，面向列，可伸缩的分布式存储系统
- 没有sql语句，一般用API操作
- 适用于单表数据量超大，且不能分表
- 分布式架构,支持服务器在线添加和移除
- 面向列的非关系型数据库，分布式架构
- 用于存储数据和检索数据，一般会直接接入在线业务
- 不依赖于yarn和mapreduce
四、 Hive：
- 是数据仓库，不是数据库
- 一般用于分析，并不会直接接入到在线业务
- 实际上是将hql语句转化为mapreduce任务运行在yarn平台上
五、最后说一说RDBMS和HBase的区别：
RDBMS使用sql语句，HBase使用API
- RDBMS基于行存储，HBase基于列存储且支持更好的压缩
- RDBMS适用于存储结构化数据，HBase适用于存储结构化和非结构化数据
- RDBMS支持事务处理，HBase不支持事务处理
- RDBMS支持多表Join，HBase不支持多表Join
- RDMBS更新表数据会自动更新索引文件，HBase需要手动建立索引，手动更新
- RDMBS适用于业务逻辑复杂的存储环境，HBase不适合。
- RDMBS不适合存储超大数据量的单表，HBase适合。
读完上边的内容，大概应该知道HBase是个什么妖怪了吧。
- HBase基本进程
HMaster
HMaster节点有如下功能：
1 为HRegionServer分配HRegion
2 负责HRegionServer的负载均衡
3 发现失效的HRegionServer并重新分配其上的HRegion
4 HDFS上的垃圾文件回收
5 处理Schema更新请求
HRegionServer
1 维护HMaster分配给他的HRegion，处理HRegion的IO请求
2 负责切分正在运行过程中变的过大的HRegion
- HBase基本原理
请看图：
注：一般而言，Master和NameNode在一台服务器上，RegionServer与DataNode在同一个服务器上。
Client：
包含访问HBase的接口，并维护cache来加快对HBase的访问。说白了，就是用来访问HBase的客户端。
- HMaster：
这个东西是HBase的主节点，用来协调Client端应用程序和HRegionServer的关系，管理分配HRegion给HRegionserver服务器。
- HRegionServer：
Hbase的从节点，管理当前自己这台服务器上面的HRegion，HRegion是Hbase表的基础单元组建，存储了分布式的表。HRegionserver负责切分在运行过程中变得过大的HRegion。
- HRegion：
一个Table可以有多个HRegion，HBase使用rowKey将表水平切割成多个HRegion，每个HRegion都纪录了它的StartKey和EndKey（第一个HRegion的StartKey为空，最后一个HRegion的EndKey为空），由于RowKey是排序的，因而Client可以通过HMaster快速的定位每个RowKey在哪个HRegion中。HRegion由HMaster分配到相应的HRegionServer中，然后由HRegionServer负责HRegion的启动和管理，和Client的通信，负责数据的读(使用HDFS)。每个HRegionServer可以同时管理1000个左右的HRegion，出处请参看论文：BigTable（5 Implementation节）：Each tablet server manages a set of tablets(typically we have somewhere between ten to a thousand tablets per tablet server)）。
- MemStore：
它是一个写缓存，数据先WAL[write ahead log]（也就是HLog它是一个二进制文件，所有写操作都会先保证将数据写入这个Log文件后，才会真正更新MemStore，最后写入HFile中），在写入MemStore后，由MemStore根据一定的算法将数据Flush到底层HDFS文件中(HFile)，一般而言，对于每个HRegion中的每个Column Family来说，有一个自己的MemStore。
- StoreFile：
1个HStore，由一个MemStore和0~N个StoreFile组成。
- HFile：
用于存储HBase的数据(Cell/KeyValue)，在HFile中的数据是按RowKey、Column Family、Column排序，对于相同的数据单元，排序则按照时间戳（Timestamp）倒叙排列。
- Zookeeper：
HBase内置有zookeeper，但一般我们会有其他的Zookeeper集群来监管master和regionserver，Zookeeper通过选举，保证任何时候，集群中只有一个活跃的HMaster，HMaster与HRegionServer 启动时会向ZooKeeper注册，存储所有HRegion的寻址入口，实时监控HRegionserver的上线和下线信息。并实时通知给HMaster，存储HBase的schema和table元数据，默认情况下，HBase 管理ZooKeeper 实例，Zookeeper的引入使得HMaster不再是单点故障。一般情况下会启动两个HMaster，非Active的HMaster会定期的和Active HMaster通信以获取其最新状态，从而保证它是实时更新的，因而如果启动了多个HMaster反而增加了Active HMaster的负担。如图：
一 、HBase基础概念
1 HBase数据存储目录
- 存储默认命令空间表文件，创建表的时候如果不指定命令空间（库），默认创建在default下面， /hbase/data/default
- 存储HBase元数据的表文件，/hbase/data/hbase：
2 HDFS中如图：
数据存储
HBase中存取数据直接使用字节数组，没有其他数据类型
二、 HBase存储结构
1 rowkey：行键
用来唯一标识每行数据，类似RDBMS中的唯一主键
2 Column Family（CF）：列族
列族，拥有一个名称(string)，包含一个或者多个相关列
3 Column：列
字段名称，或列名
4 Cell：单元格
最基本的存储单元，用于列的实际值的存储。
5 Timestamp：时间戳
数据插入到表中的时间
三、 版本
HBase中每个列的值可以有多个版本（副本），默认情况下，有3个版本，只显示最新的版本。
1 存储形式：键值对
rowKey + Column Family + Timestamp：value
2 HBase表的物理模型
表会根据rowKey被划分成多个region，默认情况下，刚开始每张表只有一个region
3 同一张表通常会基于rowKey被划分成多个region
4 同一张表的多个region被master分配到多台regionserver管理
5 同一台regionserver服务器可以管理不同的表的region
6 当某台regionserver服务器宕机以后，master会把这台服务器上面管理的region重新分配给其他的regionserver服务器
四、HBase常用操作
接下来我们进行一些HBase的操作测试，测试前请确保你的节点中启动了对应的HMaster进程和HRegionServer
1 创建表测试
首先进入到HBase操作命令行：
$ bin/hbase shell，如下图：
接下来可以使用help命令来查看一些帮助提示：
hbase(main):001:0> help，如图：
使用list命令，可以查看当前数据库中有哪些数据表
hbase(main):002:0> list
好，那么下面我们来创建一个表：
这个表用来描述学生的一些基本信息吧：
hbase(main):003:0> create 'student','info'，执行后如图：
执行完毕后，可以使用list命令查看一下，在此不再截图展示了
解释：
‘student’：表名
‘info’：列族名，就是说这个列族可能包含多个列，比如Info列族中可能包含name，sex等列，画个图不够严谨的解释下：
接下来往表里放置一些数据：
我先语言表述一下第一行执行的含义，后边以此类推：
向student这张表中插入数据，rowKey为1001列族:列，为info:name，值value为Ysh
hbase(main):005:0> put 'student','1001','info:name','Ysh'
hbase(main):008:0> put 'student','1001','info:sex','male'
hbase(main):009:0> put 'student','1001','info:age','20'向student这张表中插入数据，rowKey为1002列族:列，为info:name，值value为Cjy
hbase(main):007:0> put 'student','1002','info:name','Cjy'
hbase(main):008:0> put 'student','1002','info:sex','female'
hbase(main):009:0> put 'student','1002','info:age','19'OK，插入成功后，使用scan来看一下这张表内容
hbase(main):010:0> scan ‘student’，如图：
接下来我们来看一些其他的命令
- 查看表结构
hbase(main):014:0> describe ‘student’，如图 - 更新数据/更新指定字段数据
hbase(main):018:0> put 'student','1001','info:name','Nick'
hbase(main):019:0> put 'student','1001','info:age','25'- 完成后scan下如图：
- get查看数据
查看rowKey为1001的数据
hbase(main):015:0> get 'student','1001'
hbase(main):015:0> get 'student','1002'
查看rowKey为1001，且列名为name的数据
hbase(main):018:0> get 'student','1001','info:name'
- scan查看数据
查看ROWKEY从1001到1007的数据，注意，规则为“前包含后不包含”，即下面的查询是不包含1007那一个rowKey的数据的。hbase(main):023:0> scan 'student',{STARTROW => '1001',STOPROW => '1007'}，如图： startrow --> stoprow
因为这里我只插入了两行数据，所以并不存在1003-1006的数据，所以不显示~ - 删除数据
我们把1001这一rowKey的所有数据删除掉，使用命令：deleteall 'student','1001'如果只想删除某一个rowKey中的某一个列的数据，使用命令：delete 'student','1001','info:name'，然后get一下如图： - 可以看到1001的name这一列的数据删除掉了
- 清空数据表
hbase(main):023:0> truncate 'student' - 看到这里之后，你list一下会发现，这个表还在，但是scan一下发现数据没了
- 删除表
首先需要先让该表为disable状态，使用命令：hbase(main):033:0> disable 'student'然后才能drop这个表，使用命令：hbase(main):040:0> drop 'student'尖叫提示：如果直接drop表，会报错：Drop the named table. Table must first be disabled，如图： - 统计一张表有多少行数据
为了展示一张表有多少行数据，我先重新创建student表，并重新put数据，然后使用命令：hbase(main):046:0> count 'student'当然了，我插入了2行数据，为1001，1002 - 总结
这一节我们了解了Hbase的存储结构，以及相关特性，并与Hive以及RDBMS进行了一些对比说明，最后写了一点小练习，希望各位可以动手操作一下Hbase，在此之前确保你的集群正常运行。
