Python读取所有CSV文件的完整指南
在数据分析与处理的工作中，CSV (逗号分隔值) 文件是非常常见的数据格式。今天，我将教你如何用Python读取一个文件夹中所有的CSV文件。我们将分步进行，并展示每一个阶段所需要的代码。
整体流程
首先，我们需要明确整个操作的步骤。以下是一个简明的步骤表：
| 步骤 | 描述 |
|---|---|
| 第一步 | 导入必要的库 |
| 第二步 | 指定CSV文件的存放路径 |
| 第三步 | 获取所有CSV文件的文件名 |
| 第四步 | 遍历每个文件并读取数据 |
| 第五步 | 处理并合并所有数据 |
接下来，我们将详细讲解每一步所需的代码和其功能。
第一步：导入必要的库
在Python中，我们使用pandas库来处理数据，同时使用glob库来获取文件列表。执行以下代码：
import pandas as pd # 导入pandas库用于数据处理
import glob # 导入glob库用于路径匹配
第二步：指定CSV文件的存放路径
你需要确定包含CSV文件的目录路径。假设我们的文件夹路径是data/，你可以这样定义：
path = 'data/*.csv' # 定义CSV文件所在的路径模式
第三步：获取所有CSV文件的文件名
使用glob库的glob方法，我们可以获取目录中所有符合指定模式的文件名：
all_files = glob.glob(path) # 获取所有符合路径模式的CSV文件
第四步：遍历每个文件并读取数据
现在，我们可以遍历这个文件列表，使用pandas的read_csv()函数来读取每一个文件：
data_frames = [] # 创建一个空列表用于存储数据框
for filename in all_files:
df = pd.read_csv(filename) # 读取CSV文件
data_frames.append(df) # 将数据框添加到列表
第五步：处理并合并所有数据
最后，我们可以使用pandas的concat()方法将所有数据框合并为一个大的数据框：
combined_df = pd.concat(data_frames, ignore_index=True) # 合并所有的数据框
整体代码
将以上的所有步骤综合起来，完整的代码如下：
import pandas as pd # 导入pandas库用于数据处理
import glob # 导入glob库用于路径匹配
path = 'data/*.csv' # 定义CSV文件所在的路径模式
all_files = glob.glob(path) # 获取所有符合路径模式的CSV文件
data_frames = [] # 创建一个空列表用于存储数据框
for filename in all_files:
df = pd.read_csv(filename) # 读取CSV文件
data_frames.append(df) # 将数据框添加到列表
combined_df = pd.concat(data_frames, ignore_index=True) # 合并所有的数据框
关系图
在我们处理的过程中，数据的关系也可以用ER图表示。以下是数据之间的关系图：
erDiagram
CSV文件 {
string 文件名
string 路径
}
数据框 {
string 列名
string 数据类型
}
CSV文件 ||--o{ 数据框 : 包含
结尾
通过以上步骤，你已经学会了如何使用Python读取一个文件夹中的所有CSV文件。这个过程不仅简单有效，而且使用pandas提供的函数，使得数据处理变得更加高效。希望你能在今后的工作中灵活运用这些技能，提升你的数据处理能力！
