如何使用 Flink CDC 监控多张表并将数据写入 MySQL
Apache Flink 是一个强大的流处理框架，而 Flink CDC (Change Data Capture) 是其一个模块，用于捕获数据库的变更数据。本文将详细介绍如何实现 Flink CDC 监控多张表的变化并写入 MySQL 数据库的流程。
整体流程
我们可以将整个实现过程分为以下步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 环境准备 |
| 2 | 引入依赖库 |
| 3 | 配置 Flink CDC 连接器 |
| 4 | 编写 Flink 程序 |
| 5 | 集成 MySQL sink |
| 6 | 提交作业并监控运行 |
flowchart TD
A[环境准备] --> B[引入依赖库]
B --> C[配置 Flink CDC 连接器]
C --> D[编写 Flink 程序]
D --> E[集成 MySQL sink]
E --> F[提交作业并监控运行]
每一步具体实现
1. 环境准备
确保你已安装以下组件：
- JDK (版本 8 或更高)
- Maven
- Apache Flink
- MySQL
2. 引入依赖库
在 Maven 项目的 pom.xml 文件中，添加 Flink 和 Flink CDC 的依赖。
<dependencies>
<!-- Flink 核心库 -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.14.0</version> <!-- 注意根据你的实际情况调整版本 -->
</dependency>
<!-- Flink CDC 依赖 -->
<dependency>
<groupId>com.ververica</groupId>
<artifactId>flink-cdc-connectors-mysql_2.11</artifactId>
<version>2.1.0</version> <!-- 根据 CDC 版本进行选择 -->
</dependency>
<!-- MySQL connector -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.25</version>
</dependency>
</dependencies>
3. 配置 Flink CDC 连接器
在代码中配置连接到 MySQL 数据库的 Flink CDC 连接器。
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.alpakka.cdc.debezium.DebeziumSourceFunction;
public class FlinkCdcExample {
public static void main(String[] args) {
// 创建执行环境
final StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();
// 定义 MySQL CDC 源
DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
.hostname("localhost") // MySQL 主机
.port(3306) // MySQL 端口
.username("your_username") // 用户名
.password("your_password") // 密码
.databaseList("your_database") // 数据库名称
.tableList("your_database.your_table1,your_database.your_table2") // 监控的表
.deserializer(new JsonDebeziumDeserializationSchema()) // 反序列化
.build();
DataStream<String> stream = environment.addSource(sourceFunction);
stream.print(); // 输出流
}
}
4. 编写 Flink 程序
在之前的代码基础上，接下来编写主逻辑处理：
import org.apache.flink.streaming.api.functions.sink.jdbc.JdbcSink;
import org.apache.flink.api.common.sql.SqlDialect;
JdbcSink<String> sink = JdbcSink.sink(
"INSERT INTO your_table (column1, column2) VALUES (?, ?)", // SQL 插入语句
(ps, t) -> {
// 处理每一条输入的实际数据
ps.setString(1, t.split(",")[0]); // 假设列1
ps.setString(2, t.split(",")[1]); // 假设列2
},
JdbcExecutionOptions.builder()
.withBatchSize(100) // 批量大小
.build(),
new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
.withUrl("jdbc:mysql://localhost:3306/your_database") // MySQL URL
.withDriverName("com.mysql.jdbc.Driver") // MySQL 驱动
.withUsername("your_username") // 用户名
.withPassword("your_password") // 密码
.build()
);
stream.addSink(sink); // 添加 sink
5. 集成 MySQL Sink
在上面的代码中，我们已经通过 JdbcSink 将数据写入 MySQL，这包括插入数据的逻辑。
6. 提交作业并监控运行
可以通过 Flink 提供的 Web 界面访问，提交作业进行监控，查看数据流和其运行状态。
# 启动 Flink 集群
./bin/start-cluster.sh
# 提交作业（假设编译成 jar 文件）
./bin/flink run target/flink-cdc-example.jar
旅行图
在学习过程中，可能会经历不同的阶段，以下是一个旅行图来描绘学习者的学习过程：
journey
title 学习 Flink CDC 旅行
section 学习阶段
理论学习: 5: 理论与文档阅读
实践练习: 4: 编写和调试代码
整体理解: 3: 总结和反思实施过程
结尾
通过上述步骤，你应该成功监控多张表的变化并将其写入到 MySQL 中。这是一个非常实用的技能，能够帮助你在实时数据处理的项目中尤为重要。避免在稍后阶段出现问题，确保你的环境配置正确，并仔细检查代码中的每个部分的功能。希望你在使用 Flink CDC 的路上越走越远！
