mysql 批量插入耗时

原创

mob649e8157ebce 2024-07-17 05:57:25 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8157ebce的原创作品，请联系作者获取转载授权，否则将追究法律责任

MySQL 批量插入性能优化指南

作为一名经验丰富的开发者，我经常被问到如何优化MySQL的批量插入操作。对于刚入行的小白来说，这可能是一个棘手的问题。本文将详细介绍批量插入的流程、步骤和代码实现，帮助你快速掌握这一技能。

批量插入流程

批量插入通常涉及以下步骤：

步骤	描述
1	准备数据
2	连接数据库
3	构建插入语句
4	执行批量插入
5	检查结果
6	断开数据库连接

旅行图

以下是批量插入操作的旅行图：

journey
    title MySQL 批量插入操作流程
    section 准备数据
      PrepareData: 准备数据
    section 连接数据库
      ConnectDB: 连接数据库
    section 构建插入语句
      BuildInsert: 构建插入语句
    section 执行批量插入
      ExecuteInsert: 执行批量插入
    section 检查结果
      CheckResult: 检查结果
    section 断开数据库连接
      DisconnectDB: 断开数据库连接

代码实现

1. 准备数据

假设我们有一个包含多条记录的列表，每条记录都是一个字典。

data_list = [
    {'name': 'Alice', 'age': 25},
    {'name': 'Bob', 'age': 30},
    # 更多记录...
]

2. 连接数据库

使用Python的mysql-connector-python库连接到MySQL数据库。

import mysql.connector

# 连接配置
config = {
    'user': 'your_username',
    'password': 'your_password',
    'host': 'your_host',
    'database': 'your_database',
    'raise_on_warnings': True
}

# 建立连接
conn = mysql.connector.connect(**config)

3. 构建插入语句

构建一个通用的插入语句模板。

insert_template = "INSERT INTO your_table (name, age) VALUES (%s, %s)"

4. 执行批量插入

使用cursor.executemany()方法执行批量插入。

cursor = conn.cursor()

# 准备批量插入的数据
data_tuple_list = [(d['name'], d['age']) for d in data_list]

# 执行批量插入
cursor.executemany(insert_template, data_tuple_list)

5. 检查结果

检查插入操作是否成功，并获取受影响的行数。

# 提交事务
conn.commit()

# 获取受影响的行数
affected_rows = cursor.rowcount
print(f"Inserted {affected_rows} rows successfully.")

6. 断开数据库连接

操作完成后，关闭游标和连接。

cursor.close()
conn.close()

状态图

以下是批量插入操作的状态图：

stateDiagram-v2
    [*] --> PrepareData: 准备数据
    PrepareData --> ConnectDB: 连接数据库
    ConnectDB --> BuildInsert: 构建插入语句
    BuildInsert --> ExecuteInsert: 执行批量插入
    ExecuteInsert --> CheckResult: 检查结果
    CheckResult --> [*]: 操作成功
    CheckResult --> DisconnectDB: 断开数据库连接
    DisconnectDB --> [*]