PYTHON MERGE 关联多个

原创

mob649e815d65e6 2024-12-21 04:27:55 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e815d65e6的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python中的数据合并：关联多个数据集

在数据分析和处理的过程中，合并（Merge）是一个非常常见的操作。尤其是在使用Python的Pandas库时，合并多个数据集可以帮助我们把分散的信息整合起来，方便后续的分析与处理。本文将探讨如何使用Pandas实现数据集合并，并通过示例来说明这个过程。

什么是数据合并？

数据合并是将两个或多个数据集根据某些共同的特征或键（Key）进行关联的过程。在实际应用中，我们常常需要将不同来源的数据信息整合到一起，比如从不同的CSV文件或数据库中提取数据。Pandas库提供了强大的merge()函数，可以帮助我们实现这一点。

流程图

在进行数据合并的过程中，通常涉及以下几个步骤：

flowchart TD
    A[准备数据] --> B[读取数据集]
    B --> C{选择合并方式}
    C -->|内连接| D[执行内连接]
    C -->|外连接| E[执行外连接]
    C -->|左连接| F[执行左连接]
    C -->|右连接| G[执行右连接]
    D --> H[返回合并结果]
    E --> H
    F --> H
    G --> H

以上流程图展示了数据合并的基本步骤，包括准备数据、读取数据集以及选择合并方式。

数据准备

让我们从两个简单的示例数据集开始，为说明数据合并操作做准备。假设我们有两个数据集：学生成绩和学生基本信息。

首先，我们要准备一个记录学生成绩的CSV文件 grades.csv：

student_id,subject,score
1,Math,85
1,English,90
2,Math,78
2,English,88
3,Math,95
3,English,80

然后，准备一个记录学生基本信息的CSV文件 students.csv：

student_id,name,age
1,John,16
2,Alice,17
3,Bob,16

使用Pandas实现数据合并

接下来，我们将使用Pandas库来读取这两个数据集，并将它们合并。首先，我们需要安装Pandas库：

pip install pandas

然后，我们可以编写以下Python脚本来读取和合并数据集：

import pandas as pd

# 读取数据集
grades = pd.read_csv('grades.csv')
students = pd.read_csv('students.csv')

# 显示读取的数据
print("学生成绩:")
print(grades)
print("\n学生信息:")
print(students)

# 合并数据集
merged_data = pd.merge(students, grades, on='student_id')

# 显示合并结果
print("\n合并后的数据:")
print(merged_data)

输出结果

运行上述代码，您将看到以下输出：

学生成绩:
   student_id    subject  score
0           1       Math     85
1           1    English     90
2           2       Math     78
3           2    English     88
4           3       Math     95
5           3    English     80

学生信息:
   student_id   name  age
0           1   John   16
1           2  Alice   17
2           3    Bob   16

合并后的数据:
   student_id   name  age    subject  score
0           1   John   16       Math     85
1           1   John   16    English     90
2           2  Alice   17       Math     78
3           2  Alice   17    English     88
4           3    Bob   16       Math     95
5           3    Bob   16    English     80

如上所示，merged_data 将 students 和 grades 两个数据集结合在一起，形成一个包含学生基本信息和对应成绩的新数据集。

不同的合并方式

Pandas的merge()函数支持多种合并方式，包括：

内连接（Inner Join）: 只保留在两个数据集中都出现的key
左连接（Left Join）: 保留左侧数据集的所有数据，并在右侧数据集中查找匹配
右连接（Right Join）: 保留右侧数据集的所有数据，并在左侧数据集中查找匹配
外连接（Outer Join）: 保留两个数据集的所有数据，未匹配的部分用NaN填充

我们可以在代码中轻松修改合并方式，例如执行外连接：

# 执行外连接
merged_outer = pd.merge(students, grades, on='student_id', how='outer')
print("\n外连接合并后的数据:")
print(merged_outer)

旅行日志

在数据合并的学习过程中，我们经历了一系列步骤，如下所示：

journey
    title 学习数据合并的旅程
    section 准备数据
      准备CSV文件: 5: 学习者
      理解数据结构: 4: 学习者
    section 读取与合并
      学习Pandas基本操作: 4: 学习者
      实践数据读取与合并: 5: 学习者
    section 数据分析
      结果分析与验证: 4: 学习者