spark查询表的数据 spark查看表结构

在HiveContent 实现了求和之后，进行dataframe的学习，然后实现和上个一样的功能。

• 初步了解dataframe
  DataFrame是一个以命名列方式组织的分布式数据集。在概念上，它跟关系型数据库中的一张表或者1个Python(或者R)中的data frame一样，但是比他们更优化。DataFrame可以根据结构化的数据文件、hive表、外部数据库或者已经存在的RDD构造。
• 查阅文档资料说明
  Dataframe的操作和hivcontent 略有不同，在学习过程中，会遇到各种各样的函数的使用，查博客百度是一种方法，但是在操作过程中还是要查阅官方文档，官方文档纯英文的，但是用法非常的简洁明了，如果有不清楚的地方可以再展开进行百度搜索。
  关于dataframe官方文档链接，http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame 。
• 基本思路
  （1）获得dataframe
  要想对dataframe进行操作，那么第一步便是获得dataframe
  先写出上下文，然后通过hiveContext.sql获得dataframe。

conf = SparkConf().setAppName("dataframe").setMaster(
        "spark://10.245.142.253:7077").set('spark.port.maxRetries',
                                           '100').set("spark.cores.max", "100")
    sc = SparkContext(conf=conf)
    hiveContext = HiveContext(sc)
    df1 = hiveContext.sql("select * from jingzhen.openaccount")

（2）对数据表重命名

因为后面需要对数据表进行连接，所以在这里对表中的字段进行重命名获得新的dataframe。

在这里用到的主要函数是 withColumnRenamed。

官方文档给出的用法如下：

类似于下面的用法，前面是原来的字段名，后面是新的名字

这里需要注意一点的是，show之后dataframe 并没有存起来，自动释放，要想下面接着用，重命名那句话的后面就不能加show。

dfrenamea1 = df1.withColumnRenamed('openaccountidnumber', 'id_a')
    dfrenamea1.show()
    dfrenamea2 = dfrenamea1.withColumnRenamed('nameoftheaccountopening',
                                              'name_a')
    dfrenamea3 = dfrenamea2.select(dfrenamea2.tradingcard, dfrenamea2.id_a,
                                   dfrenamea2.name_a)
    dfrenamea3.show()

• （3）数据表连接
  当满足转账卡号和注册卡号相等时，连接另一个表的name和cardid，这里需要用到join函数，不需要用到where函数，因为可以在join语句中可以加入限定条件。
  使用实例如下：

dfjoina = df2.join(dfrenamea3,
                       df2.tradingcardnumber == dfrenamea3.tradingcard).join(
                           dfrenameb3,
                           df2.opponentaccount == dfrenameb3.tradingcard)

• 选择所需字段
  从df里选择所需字段用select即可，很简单，官方文档的介绍如下：

在这里，具体的用法是：

df4 = dfjoina.select(dfrenamea3.id_a, dfrenamea3.name_a, dfrenameb3.id_b,
                         dfrenameb3.name_b, df2.tradingamount)
    df4.show()

• 分组groupby
  分组和sql一样，就用groupby。官方介绍如下：

在这里，具体的用法是：

gdf = df4.groupBy("name_a", "id_a", "name_b", "id_b")
print("groupBy完成")

• 求和sum
  这里采用的是agg，然后找sum用法
  官方文档如下：

在这里，具体用法如下：

gdd = gdf.agg({"tradingamount": "sum"})
 print("sum完成")

• 插入数据库
  先存入临时表，然后从临时表利用hivecontentsql插入到数据库中
  具体用法如下：

gdd.createOrReplaceTempView("test")
    print("test临时表创建完成")
    hiveContext.sql("insert into jingzhen.sumdataframe select * from test")
    # pdf = gdd.toPandas()
    print("insert插入数据库完成")