pyspark 数组转dataframe

原创

mob649e8158ed1f 2024-10-25 05:41:12 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8158ed1f的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用 PySpark 将数组转化为 DataFrame 的方法

在数据处理的过程中，我们常常会遇到将数组转化为 DataFrame 的需求。使用 PySpark 来实现在大数据环境下的高效处理是一种非常好的选择。本文将为你详细介绍这个过程，包括具体的步骤和必要的代码示例。

整体流程

以下是将数组转换为 DataFrame 的步骤：

步骤	描述
1. 初始化	导入所需库并创建 SparkSession
2. 创建数据	准备一个包含数组的 Python 列表
3. 转换为 RDD	将列表转换为 RDD（弹性分布式数据集）
4. 创建 DataFrame	将 RDD 转换为 DataFrame
5. 显示结果	打印最终的 DataFrame

详细步骤说明

1. 初始化

在 PySpark 开始之前，我们首先需要导入必要的库，并创建一个 SparkSession。这是进行数据操作的入口。

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("Array to DataFrame") \
    .getOrCreate()  # 创建 SparkSession

注释：上述代码首先导入 SparkSession 类，然后创建一个名为 "Array to DataFrame" 的 Spark 应用。

2. 创建数据

接下来，我们需要准备一个包含数组的 Python 列表。

# 创建一个包含数组的列表
data = [(1, ["apple", "banana", "cherry"]),
        (2, ["date", "fig", "grape"]),
        (3, ["honeydew", "kiwi", "lemon"])]

注释：这段代码创建了一个列表 data，每个元素都是一个元组，元组中包含一个整型值和一个字符串数组。

3. 转换为 RDD

我们可以将列表 data 转换为 RDD，以便后续操作。

# 将列表转换为 RDD
rdd = spark.sparkContext.parallelize(data)  # 使用 parallelize() 方法创建 RDD

注释：这里使用 parallelize() 方法将 Python 列表分发到集群中的各个工作节点，以形成 RDD。

4. 创建 DataFrame

接下来，我们将 RDD 转换为 DataFrame，并指定相应的列名。

from pyspark.sql import Row

# 使用 Row 方法创建 DataFrame
df = rdd.map(lambda x: Row(id=x[0], fruits=x[1])) \
         .toDF()  # 将 RDD 转换为 DataFrame

注释：在这段代码中，使用 map 函数将 RDD 中每个元素转换为 Row 对象，并指定了 DataFrame 的列名。然后通过调用 toDF() 方法将 RDD 转换为 DataFrame。

5. 显示结果

现在，我们可以打印出最终的 DataFrame，以便确认数据是否正确。

# 显示 DataFrame
df.show(truncate=False)  # 显示完整内容

注释：使用 show() 方法可以查看 DataFrame 的内容，truncate=False 确保展示完整数据。

完整代码示例

将上面的步骤整合起来，完整代码如下：

from pyspark.sql import SparkSession, Row

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("Array to DataFrame") \
    .getOrCreate()

# 创建一个包含数组的列表
data = [(1, ["apple", "banana", "cherry"]),
        (2, ["date", "fig", "grape"]),
        (3, ["honeydew", "kiwi", "lemon"])]

# 将列表转换为 RDD
rdd = spark.sparkContext.parallelize(data)

# 使用 Row 方法创建 DataFrame
df = rdd.map(lambda x: Row(id=x[0], fruits=x[1])) \
         .toDF()

# 显示 DataFrame
df.show(truncate=False)