Java往clickhouse批量插入数据

原创

mob64ca12e4594b 2024-08-27 03:59:17 ©著作权

文章标签 java 批量插入数据 Java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e4594b的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java往ClickHouse批量插入数据

ClickHouse是一种开源的列式数据库管理系统，专为在线分析处理（OLAP）而设计。它能够快速处理大数据集，通常用于数据仓库解决方案。在许多应用场景下，Java是用于与ClickHouse进行交互的首选语言，尤其是当需要批量插入数据时。本文将介绍如何在Java中往ClickHouse批量插入数据，同时提供代码示例和时序图以帮助更好地理解整个流程。

ClickHouse的基本概念

在深入代码之前，我们先了解一下ClickHouse的一些基本概念。ClickHouse的设计目标是快速查询和分析海量数据。为了实现这一目标，它采用了列存储的方式，并支持高效的数据压缩。它主要用于需要频繁执行复杂查询的应用场景，例如数据分析和实时数据处理。

Java与ClickHouse的连接

我们可以使用JdbcTemplate或其他JDBC驱动程序来与ClickHouse建立连接。以下是一个简单的连接示例：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

public class ClickHouseConnection {
    private static final String JDBC_URL = "jdbc:clickhouse://localhost:8123/test";
    private static final String USER = "default";
    private static final String PASSWORD = "";

    public static Connection getConnection() throws SQLException {
        return DriverManager.getConnection(JDBC_URL, USER, PASSWORD);
    }
}

在上面的代码中，我们定义了一个 ClickHouseConnection 类，该类负责创建到ClickHouse的数据库连接。确保在使用之前已经添加了ClickHouse的JDBC驱动依赖。

批量插入数据

在处理大规模数据插入时，使用批量插入的方式能显著提高效率。下面是一个批量插入数据的示例代码：

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class BatchInsertExample {
    private static final String INSERT_SQL = "INSERT INTO test_table (id, name) VALUES (?, ?)";

    public static void main(String[] args) {
        try (Connection connection = ClickHouseConnection.getConnection()) {
            connection.setAutoCommit(false); // 关闭自动提交
            
            try (PreparedStatement preparedStatement = connection.prepareStatement(INSERT_SQL)) {
                for (int i = 1; i <= 1000; i++) {
                    preparedStatement.setInt(1, i);
                    preparedStatement.setString(2, "Name" + i);
                    preparedStatement.addBatch(); // 添加到批处理中

                    // 每100条执行一次
                    if (i % 100 == 0) {
                        preparedStatement.executeBatch();
                    }
                }
                preparedStatement.executeBatch(); // 执行剩余的
                connection.commit(); // 提交
            } catch (SQLException e) {
                connection.rollback(); // 回滚
                e.printStackTrace();
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

在这个示例中：

我们首先建立与ClickHouse数据库的连接。
使用 PreparedStatement 准备插入数据的SQL语句。
我们使用一个循环来批量插入1000条数据。每插入100条数据时就执行一次 executeBatch()，以提高性能。
通过调用 commit() 提交事务，确保数据的持久性。如果出现错误，则调用 rollback() 回滚事务。

数据流动的时序图

为了帮助理解数据插入过程，我们可以用时序图表示数据的流动。以下是基于上述代码的时序图：

sequenceDiagram
    participant Client
    participant ClickHouse
    Client->>ClickHouse: 建立连接
    Client->>ClickHouse: 关闭自动提交
    loop 批量插入
        Client->>ClickHouse: 添加一条数据
    end
    Client->>ClickHouse: 每100条执行一次 - executeBatch()
    Client->>ClickHouse: 提交事务 - commit()
    ClickHouse-->>Client: 数据成功插入