spark java写数据到hdfs

原创

mob64ca12e83232 2024-06-21 03:35:35 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e83232的原创作品，请联系作者获取转载授权，否则将追究法律责任

Spark Java写数据到HDFS

简介

Apache Spark是一种快速、通用、并且易于使用的大数据处理引擎，它支持在内存中计算，因此速度比传统的MapReduce快很多。在Spark中，可以使用Java来编写数据处理程序，同时将处理后的数据写入HDFS存储系统。本篇文章将介绍如何使用Spark Java来写数据到HDFS。

步骤

步骤一：创建SparkSession

首先，需要创建一个SparkSession对象，它是Spark应用程序的入口点，用于执行Spark操作。

import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder()
    .appName("Write data to HDFS")
    .master("local")
    .getOrCreate();

步骤二：准备数据

接下来，准备要写入HDFS的数据。可以从文件中读取数据，也可以生成模拟数据。

Dataset<Row> data = spark.read()
    .format("csv")
    .option("header", true)
    .load("data.csv");

步骤三：写数据到HDFS

使用Spark的DataFrame API将数据写入HDFS。

data.write()
    .format("parquet")
    .save("hdfs://localhost:9000/user/data_output");

步骤四：关闭SparkSession

最后，不要忘记关闭SparkSession。

spark.close();

完整代码示例

下面是一个完整的示例代码，演示了如何使用Spark Java写数据到HDFS。

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class WriteToHDFS {

    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
            .appName("Write data to HDFS")
            .master("local")
            .getOrCreate();

        Dataset<Row> data = spark.read()
            .format("csv")
            .option("header", true)
            .load("data.csv");

        data.write()
            .format("parquet")
            .save("hdfs://localhost:9000/user/data_output");

        spark.close();
    }
}