spark dataframe 获得分组后的每组数据

原创

mob64ca12e1c36d 2024-12-14 06:23:19 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12e1c36d的原创作品，请联系作者获取转载授权，否则将追究法律责任

如何在 Spark DataFrame 中获得分组后的每组数据

在大数据处理领域，Apache Spark 是一个非常流行且强大的数据处理框架。使用 Spark DataFrame，我们可以方便地进行数据清洗、转化和分析。在这篇文章中，我们将教会你如何获得分组后的每组数据。以下是实现的流程概述：

流程概述

为了获得分组后的数据，我们通常需要经过以下几个步骤：

步骤编号	步骤名称	描述
1	创建SparkSession	初始化Spark环境，以便于后续操作。
2	创建DataFrame	创建一个包含原始数据的DataFrame。
3	分组数据	使用 `groupBy` 对DataFrame进行分组。
4	统计聚合	使用聚合函数计算每组的统计信息。
5	显示结果	将结果展示出来。

接下来，我们将一步步讲解每个步骤以及需要使用的代码。

1. 创建 SparkSession

在开始处理数据之前，首先需要创建一个 SparkSession。SparkSession 是 Spark 应用程序的入口。

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("GroupByExample") \
    .getOrCreate()

SparkSession.builder 用于构建 Spark 会话。
appName("GroupByExample") 为应用程序设置一个名字。
getOrCreate() 方法如果不存在则创建一个新的 SparkSession，如果存在则获取已存在的会话。

2. 创建 DataFrame

接下来，我们需要创建一个包含一些示例数据的 DataFrame。这里我们假设有一个关于员工的简单数据集。

data = [("Alice", "Sales", 1000), 
        ("Bob", "Sales", 1500), 
        ("Charlie", "IT", 2000), 
        ("David", "IT", 2500), 
        ("Eve", "HR", 3000)]

# 创建 DataFrame
columns = ["Name", "Department", "Salary"]
df = spark.createDataFrame(data, schema=columns)

data 创建了一个列表，其中包含了员工的姓名、部门和薪水。
spark.createDataFrame(data, schema=columns) 将列表转化为 DataFrame，并指定列名。

3. 分组数据

有了 DataFrame 后，我们可以使用 groupBy 方法对数据进行分组。在这个例子中，我们将按部门进行分组。

grouped_df = df.groupBy("Department")

groupBy("Department") 将 DataFrame 按部门字段进行分组。

4. 统计聚合

接下来，我们可以对每组数据进行一些聚合操作，例如计算总薪水或平均薪水。以下是计算每个部门总薪水的代码。

# 计算每个部门的总薪水
result_df = grouped_df.sum("Salary")

sum("Salary") 计算每个部门的薪水总和。

我们也可以计算平均薪水：

# 计算每个部门的平均薪水
avg_salary_df = grouped_df.avg("Salary")

avg("Salary") 计算每个部门的平均薪水。

5. 显示结果

最后，我们需要将结果展示出来。我们可以使用 show() 方法来打印 DataFrame 的内容。

# 显示每个部门的总薪水
result_df.show()

# 显示每个部门的平均薪水
avg_salary_df.show()

show() 方法用于展示 DataFrame 的内容，默认展示前 20 行数据。

ER 图

为了帮助理解部门和员工之间的关系，下面是一个简单的 ER 图：

erDiagram
    Employee {
        string Name
        string Department
        int Salary
    }
    Department {
        string DepartmentName
    }
    
    Employee ||--o{ Department : belongs_to

在这个图中，每个员工都属于一个部门，这样的结构在很多业务场景中都是常见的。