mysql大数据导入sql

原创

mob649e8169ec5f 2023-12-18 09:44:10 ©著作权

文章标签 数据数据导入 MySQL 文章分类 MySQL 数据库

©著作权归作者所有：来自51CTO博客作者mob649e8169ec5f的原创作品，请联系作者获取转载授权，否则将追究法律责任

MySQL大数据导入SQL实现教程

概述

在开发中，我们经常需要将大量的数据导入到MySQL数据库中。本文将详细介绍如何通过编程的方式实现MySQL大数据导入SQL。

流程图

下面是整个流程的甘特图：

gantt
    title MySQL大数据导入SQL流程图
    
    section 数据准备
    准备数据        :a1, 2022-01-01, 1d
    
    section 数据分割
    分割数据        :a2, 2022-01-02, 2d
    
    section 数据导入
    创建表格        :a3, 2022-01-04, 1d
    导入数据        :a4, 2022-01-05, 3d
    
    section 完成
    完成导入        :a5, 2022-01-08, 1d

详细步骤

1. 数据准备

在开始导入大数据之前，首先需要准备好数据。可以将数据保存在一个文本文件或者CSV文件中。

2. 数据分割

由于大数据文件可能非常大，一次性导入可能会导致内存溢出等问题。因此，我们需要将大数据分割成小批次进行导入。

以下是一个示例代码段，用于将大数据文件分割成小文件：

def split_file(file_path, chunk_size):
    with open(file_path, 'rb') as file:
        chunk = file.read(chunk_size)
        while chunk:
            # 将数据写入新的小文件
            # ...

            chunk = file.read(chunk_size)

3. 数据导入

在导入数据之前，需要先创建表格。根据数据的结构，可以使用SQL语句创建一个对应的表格。

以下是一个示例代码段，用于创建表格：

import mysql.connector

def create_table():
    conn = mysql.connector.connect(
        host="localhost",
        user="username",
        passwd="password",
        database="database"
    )

    cursor = conn.cursor()

    sql = """
    CREATE TABLE IF NOT EXISTS `my_table` (
        `id` INT(11) NOT NULL AUTO_INCREMENT,
        `name` VARCHAR(100) NOT NULL,
        `age` INT(11) NOT NULL,
        PRIMARY KEY (`id`)
    )
    """

    cursor.execute(sql)

    conn.close()

在创建表格之后，我们可以通过以下代码将分割后的小文件逐个导入到MySQL数据库中：

def import_data(file_path):
    conn = mysql.connector.connect(
        host="localhost",
        user="username",
        passwd="password",
        database="database"
    )

    cursor = conn.cursor()

    with open(file_path, 'rb') as file:
        data = file.read()

        sql = """
        LOAD DATA INFILE '{}'
        INTO TABLE my_table
        FIELDS TERMINATED BY ','
        ENCLOSED BY '"'
        LINES TERMINATED BY '\n'
        """.format(file_path)

        cursor.execute(sql)

    conn.commit()
    conn.close()

4. 完成导入

当所有数据都成功导入到MySQL数据库中后，即可完成导入过程。

以下是一个示例代码段，用于检查导入是否完成：

def check_import_complete():
    conn = mysql.connector.connect(
        host="localhost",
        user="username",
        passwd="password",
        database="database"
    )

    cursor = conn.cursor()

    sql = "SELECT COUNT(*) FROM my_table"

    cursor.execute(sql)

    result = cursor.fetchone()

    if result:
        print("数据导入完成，共导入{}条数据".format(result[0]))

    conn.close()