sparksession 清除缓存

任务背景：

数据的维数是指数据具有的特征数量，数据特征矩阵过大， 将导致计算量比较大，训练时间长的等问题。当数据存在冗余属性时，对多余属性剔除的过程，称为“数据降维”。降维的好处十分明显，它不仅可以数据减少对内存的占用，还能够加快学习算法的执行与收敛。请根据任务具体要求，针对原始数据集中可能存在的冗余属性进行排查，复制并保存结果。

任务描述：

请使用子任务1的结果数据作为数据源，判断属性“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性。请按照如下要求编写Spark程序对数据进行清洗，并将结果输出/diliveryoutput2(将分区数设置为1)。

1. 分析数据文件
2. 排除属性列“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性
3. 程序打包并在Spark平台运行

具体任务要求：

1、利用/diliveryoutput1作为源数据,使用hadoop shell命令查看数据集条数，请将查看命令及结果复制并粘贴至对应报告中。

2、如果仅考虑年、月、日数据，忽略时刻信息，“申请时间”、“创建时间”与“created_at”、“updated_at”是否为重复属性？请编写Spark程序，并在程序中以打印语句输出两对属性对应相等的数据条数。将打印输出结果以及你的结论复制并粘贴至对应报告中。（复制内容需包含打印语句输出结果的上下各 5 行运行日志）。

示例格式：

=两组属性同时相等的数据条数为***条=

结论：“申请时间”、“创建时间”与“created_at”、“updated_at”（是/不是）重复属性。

如果数据相等的比例超过原始数据集的90%，则剔除属性“created_at”与“updated_at”， 并将结果数据集json文件保存至/diliveryoutput2。

package eat


import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{DataFrame, SparkSession}


object two {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[6]").appName("two").config("spark.sql.warehouse.dir", "C:/").getOrCreate()
    Logger.getLogger("org").setLevel(Level.ERROR)

    val datas: DataFrame = spark.read.json("data/output/diliveryoutput1")

    //    val data: RDD[Row] = datas.rdd
    //    import spark.implicits._
    //    val result: RDD[Array[String]] = data.map(_.mkString(",")).map(_.split(","))
    //      .filter(item => {
    //        var i = 0
    //        for (r <- item) {
    //            if (item.equals("申请时间") == item.equals("created_at") && (item.equals("创建时间") == item.equals("updated_at"))) {
    //          println(item.toString)
    //             }
    //        }
    //        i != 0
    //      }
    //      )
    //
    //    result.foreach(println)

    datas.createOrReplaceTempView("time")

    //    val sql =


![img]()
![img]()
![img]()

*