HBase On Spark

转载

mb5ff80520dfa04 2017-08-13 22:13:00

文章标签 spark jar hadoop apache mapreduce 文章分类 代码人生

从昨天开始研究通过Spark向HBase中插入数据，开始在GitHub上面找了一段代码，但是调试起来不好用；于是到今天下午一直在研究这个代码，本来对于Python不太熟悉，对于PySpark更是不熟悉；而且还少一些包；

后来突然想到其实Spark还有Java版本的，PySpark和它都是Spark提供的，API一定会非常类似，于是对于PySpark的研究，转而研究Java的Spark到HBase处理，于是在百度中输入“Spark HBase”查找到了很多内容；发现了很多解决的方案。

发现很多类都找不到，原来有些实现只是在老版的jar中存在，比如spark-example.jar，在2.1的spark中根本就没有，只是在1.6的版本中才有。

修改spark-env不需要重启spark，直接生效；pyspark每次执行的时候，都会重新去读这个文件；但是经过测试，发现1.6的spark（CDH5.10.2）的spark-evn.sh并不支持SPARK_CLASSPATH的定义

from __future__ import print_function
import sys
from pyspark import SparkContext

"""
Create test table in HBase first:
hbase(main):001:0> create 'test', 'f1'
0 row(s) in 0.7840 seconds
> hbase_outputformat <host> test row1 f1 q1 value1
> hbase_outputformat <host> test row2 f1 q1 value2
> hbase_outputformat <host> test row3 f1 q1 value3
> hbase_outputformat <host> test row4 f1 q1 value4

hbase(main):002:0> scan 'test'
ROW                   COLUMN+CELL
 row1                 column=f1:q1, timestamp=1405659615726, value=value1
 row2                 column=f1:q1, timestamp=1405659626803, value=value2
 row3                 column=f1:q1, timestamp=1405659640106, value=value3
 row4                 column=f1:q1, timestamp=1405659650292, value=value4
4 row(s) in 0.0780 seconds
"""


if __name__ == "__main__":
    if len(sys.argv) != 7:
        print("""
        Usage: hbase_output <host> <table> <row> <family> <qualifier> <value>
        Run with example jar:
        ./bin/spark-submit --driver-class-path /path/to/example/jar \
        /path/to/examples/hbase_outputformat.py <args>
        Assumes you have created <table> with column family <family> in HBase
        running on <host> already
        """, file=sys.stderr)
        exit(-1)

    host = sys.argv[1]
    table = sys.argv[2]
    sc = SparkContext(appName="HBaseOutputFormat")

    conf = {"hbase.zookeeper.quorum": host,
            "hbase.mapred.outputtable": table,
            "mapreduce.outputformat.class": "org.apache.hadoop.hbase.mapreduce.TableOutputFormat",
            "mapreduce.job.output.key.class": "org.apache.hadoop.hbase.io.ImmutableBytesWritable",
            "mapreduce.job.output.value.class": "org.apache.hadoop.io.Writable"}

    keyConv = "org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter"
    valueConv = "org.apache.spark.examples.pythonconverters.StringListToPutConverter"

    sc.parallelize([sys.argv[3:]]).map(lambda x: (x[0], x)).saveAsNewAPIHadoopDataset(
        conf=conf,
        keyConverter=keyConv,
        valueConverter=valueConv)

    sc.stop()