HBase的数据备份




hbase mr导出表数据成文本 hbase导出数据乱码_进入hbase shell速度很慢


1.1 基于HBase提供的类对表进行备份

  • 使用HBase提供的类把HBase中某张表的数据导出到HDFS，之后再导出到测试hbase表中。
  • (1) ==从hbase表导出到HDFS==

~~~shell [hadoop@node01 shells]$ hbase org.apache.hadoop.hbase.mapreduce.Export myuser /hbase_data/myuser_bak

~~~

  • (2) ==文件导入hbase表==

hbase shell中创建备份目标表

ruby create 'myuser_bak','f1','f2'

  • 将HDFS上的数据导入到备份目标表中

~~~shell hbase org.apache.hadoop.hbase.mapreduce.Driver import myuser_bak /hbase_data/myuser_bak/* ~~~

  • 补充说明

以上都是对数据进行了全量备份，后期也可以实现表的增量数据备份，增量备份跟全量备份操作差不多，只不过要在后面加上时间戳。

例如： HBase数据导出到HDFS

~~~ hbase org.apache.hadoop.hbase.mapreduce.Export test /hbase_data/test_bak_increment 开始时间戳 结束时间戳 ~~~

1.2 基于snapshot快照对表进行备份

  • 通过snapshot快照的方式实现HBase数据的迁移和拷贝。这种方式比较常用，效率高，也是最为推荐的数据迁移方式。
  • HBase的snapshot其实就是一组==metadata==信息的集合（文件列表），通过这些metadata信息的集合，就能将表的数据回滚到snapshot那个时刻的数据。
  • 首先我们要了解一下所谓的HBase的LSM类型的系统结构，我们知道在HBase中，数据是先写入到Memstore中，当Memstore中的数据达到一定条件，就会flush到HDFS中，形成HFile，后面就不允许原地修改或者删除了。
  • 如果要更新或者删除的话，只能追加写入新文件。既然数据写入以后就不会在发生原地修改或者删除，这就是snapshot做文章的地方。做snapshot的时候，只需要给快照表对应的所有文件创建好指针（元数据集合），恢复的时候只需要根据这些指针找到对应的文件进行恢复就Ok。这是原理的最简单的描述，下图是描述快照时候的简单流程：


hbase mr导出表数据成文本 hbase导出数据乱码_hbase 数据导出乱码_02


1.3 快照实战

  • 1、创建表的snapshot
snapshot 'tableName', 'snapshotName'


  • 2、查看snapshot

~~~ list_snapshots
~~~

查找以test开头的snapshot


list_snapshots 'test.*'


  • 3、恢复snapshot

ps:这里需要对表进行disable操作，先把表置为不可用状态，然后在进行进行restore_snapshot的操作


disable 'tableName'
restore_snapshot 'snapshotName'
enable 'tableName'


  • 4、删除snapshot

~~~ delete_snapshot 'snapshotName' ~~~

  • 5、迁移 snapshot

~~~ hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot snapshotName -copy-from hdfs://src-hbase-root-dir/hbase -copy-to hdfs://dst-hbase-root-dir/hbase -mappers 1 -bandwidth 1024

例如： hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test -copy-from hdfs://node01:8020/hbase -copy-to hdfs://node01:8020/hbase1 -mappers 1 -bandwidth 1024 ~~~

注意：这种方式用于将快照表迁移到另外一个集群的时候使用，使用MR进行数据的拷贝，速度很快，使用的时候记得设置好bandwidth参数，以免由于网络打满导致的线上业务故障。

  • 6、将snapshot使用bulkload的方式导入

~~~ hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://dst-hbase-root-dir/hbase/archive/datapath/tablename/filename tablename

例如： 创建一个新表 create 'newTest','f1','f2' hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://node1:9000/hbase1/archive/data/default/test/6325fabb429bf45c5dcbbe672225f1fb newTest ~~~