kafka 消息数据写入mysql

原创

mob64ca12f6aae1 2024-04-06 04:46:54 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12f6aae1的原创作品，请联系作者获取转载授权，否则将追究法律责任

Kafka消息数据写入MySQL

Kafka是一个高性能、分布式的消息队列系统，可以用于数据传输和处理。有时候我们需要将Kafka中的消息数据写入到MySQL数据库中，以便进行进一步的分析和处理。在本文中，我们将介绍如何使用Java代码实现将Kafka消息数据写入MySQL数据库的操作。

数据库表设计

首先，我们需要设计一个MySQL数据库表来存储从Kafka中读取的消息数据。下面是一个简单的表设计示例：

| 字段名   | 类型     |
| -------- | -------- |
| id       | INT      |
| message  | VARCHAR  |
| timestamp| TIMESTAMP|

数据库关系图

下面是一个简单的数据库关系图，使用mermaid语法的erDiagram标识：

erDiagram
    CUSTOMER ||--o{ ORDER : has
    ORDER ||--|{ LINE-ITEM : contains
    CUSTOMER }|..|{ DELIVERY-ADDRESS : uses

Java代码示例

接下来，我们将展示如何使用Java代码将Kafka消息数据写入MySQL数据库。首先，我们需要配置Kafka的生产者和消费者，以及MySQL数据库连接。然后，在消费者中获取Kafka消息，将消息数据解析并写入MySQL数据库。

下面是一个简单的Java代码示例：

// 设置Kafka消费者配置
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test-group");

// 创建Kafka消费者
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("topic-name"));

// 创建MySQL数据库连接
Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/dbname", "username", "password");
Statement stmt = conn.createStatement();

// 消费Kafka消息并写入MySQL数据库
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        String message = record.value();
        String sql = "INSERT INTO table_name (message, timestamp) VALUES ('" + message + "', NOW())";
        stmt.executeUpdate(sql);
    }
}

// 关闭数据库连接和Kafka消费者
stmt.close();
conn.close();
consumer.close();