spark 存储 HDFS

原创

mob649e8156b567 2024-09-24 08:19:41 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8156b567的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用 Apache Spark 存储数据到 HDFS 的完整教程

在大数据处理的领域中，Apache Spark 和 Hadoop 的 HDFS（Hadoop Distributed File System）是非常重要的工具。Spark 提供了高效的数据处理能力，而 HDFS 则提供了存储能力。本文将教你如何将 Spark 处理的数据存储到 HDFS 中。我们会分步骤进行指导，并提供必要的代码示例和注释。

过程概述

以下是将 Spark 数据存储到 HDFS 的基本流程：

步骤	说明
1. 环境准备	确保安装了 Hadoop 和 Spark，并配置好它们。
2. 启动 HDFS	启动 Hadoop 分布式文件系统。
3. 创建 SparkSession	在 Spark 中创建一个 SparkSession，以便我们可以使用 Spark。
4. 加载数据	从源（如 CSV 文件、数据库等）加载数据到 Spark。
5. 数据处理	使用 Spark 对数据进行处理。
6. 存储数据	将处理后的数据写入到 HDFS 中指定的路径。

每一步的详细说明

1. 环境准备

确保你已经安装了 Hadoop 和 Spark，并且它们的环境变量已经配置好。你可以通过以下命令来确认它们的安装：

hadoop version
spark-submit --version

2. 启动 HDFS

使用以下命令来启动 HDFS：

start-dfs.sh

这会启动 HDFS 的所有守护进程。确保 HDFS 正在运行，可以通过访问 http://localhost:9870 来检查。

3. 创建 SparkSession

我们必须在使用 Spark 的任何功能之前首先创建一个 SparkSession。这是 Spark 的主入口，以下是创建 SparkSession 的代码：

from pyspark.sql import SparkSession

# 创建 Spark 会话
spark = SparkSession.builder \
    .appName("HDFS Example") \
    .getOrCreate()

# 创建 Spark 会话的意思是初始化 Spark 的工作环境

4. 加载数据

在Spark中，你可以轻松加载各种文件格式的数据。这里我们将以 CSV 文件为例。使用以下代码加载数据：

# 从 CSV 文件加载数据
data = spark.read.csv("path/to/local/file.csv", header=True, inferSchema=True)

# 这里使用 spark.read.csv 函数来读取本地的 CSV 文件，header=True表示第一行为表头，inferSchema=True表示自动推断数据类型

5. 数据处理

在加载数据后，我们可以执行一些数据处理任务。以下代码筛选出特定条件的数据：

# 假设我们要获取 age 大于 30 的数据
filtered_data = data.filter(data.age > 30)

# 过滤数据中的年龄大于 30 的行

6. 存储数据

最后，我们将处理后的数据写入到 HDFS。以下是相关代码：

# 将处理后的数据存储到 HDFS
filtered_data.write.csv("hdfs://localhost:9000/path/to/hdfs/directory", mode="overwrite")

# 存储数据到 HDFS 中的指定路径，其中 mode="overwrite" 表示如果路径已存在则覆盖

代码总结与执行

完整的代码如下所示：

from pyspark.sql import SparkSession

# 创建 Spark 会话
spark = SparkSession.builder \
    .appName("HDFS Example") \
    .getOrCreate()

# 从 CSV 文件加载数据
data = spark.read.csv("path/to/local/file.csv", header=True, inferSchema=True)

# 过滤数据中的年龄大于 30 的行
filtered_data = data.filter(data.age > 30)

# 将处理后的数据存储到 HDFS
filtered_data.write.csv("hdfs://localhost:9000/path/to/hdfs/directory", mode="overwrite")

旅行图

下面是整个流程的旅行图，帮助你理解整个步骤：

journey
    title 使用 Spark 存储数据到 HDFS
    section 环境准备
      安装 Hadoop 和 Spark: 5: 经验丰富开发者
    section 启动 HDFS
      启动 HDFS: 4: 刚入行的小白
    section 创建 SparkSession
      创建 SparkSession: 4: 刚入行的小白
    section 加载数据
      从 CSV 文件加载数据: 3: 刚入行的小白
    section 数据处理
      数据的过滤处理: 3: 刚入行的小白
    section 存储数据
      将数据写入 HDFS: 5: 成功