文章目录
- 05 文末
01 引言
通过前面的博文，我们大概把DataX的用法、源码以及配置全部理清了：
- 《DataX教程（01）- 入门》
- 《DataX教程（02）- IDEA运行DataX完整流程（填完所有的坑）》
- 《DataX教程（03）- 源码解读（超详细版）
- 《DataX教程（04）- 配置完整解读》
那么，我们最终还是要把DataX应用到我们的项目中的，那么该如何使用呢？
在这里，我要推荐下DataX-Web，主要它对于项目使用者来说，提供了一个很清晰的swagger接口文档，以及可视化界面，方便理解流程，本文讲解下。
02 DataX Web概述
Github地址：https://github.com/WeiYe-Jing/datax-web
从下图，可以看到还是挺多星星的。
官方是这样描述的DataX Web的：
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
顺便看看它的架构图：
总结：该项目主要的就是两个核心服务，通过调度中心服务（DataXAdminApplication）来构建任务，然后rpc远程调用调用执行器（DataXExcutor）去执行。
03 DataX Web本地运行
具体的操作步骤本文不再描述，按照官方的文档来一步步操作即可，文档地址：
https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md
其实主要分为几个步骤：
- 编译DataX源码，并导出编译后的文件夹，前面已经讲过了（可以参考：《DataX教程（02）- IDEA运行DataX完整流程（填完所有的坑）》）
- 执行
bin/db下面的datax_web.sql文件 - 修改项目配置，有两个，一是
datax_admin下resources/application.yml文件，另外一个是datax_executor下resources/application.yml文件。
然后需要运行两个服务，分别为：
-
DataXAdminApplication（调度中心服务）
-DataXExecutorApplication（执行器服务，可做集群）
04 DataX Web简单使用
启动成功后打开页面（默认管理员用户名：admin 密码：123456） http://localhost:8080/index.html#/dashboard
ok，现在我想把本地MySQL数据库（bm_wxcp）里表（t_sync_log）的所有内容同步到本地SQLServer数据库（datax_web）里的表（t_sync_log_target），该如何操作呢？下面来说说。
4.1 step1: 新增数据源
首先需要新增本地的MySQL和SQLServer数据源：
新增完成后：
4.2 step2: 新增任务模板
新增DataX任务模板，我这里新增了一个每30秒执行一次的任务：
新增完成：
4.3 step3: 任务构建
新增完任务了，那么现在就到了核心的事情了，就是任务的构建，即可以简单理解为配置DataX能识别的json配置。
从下图可以看到有4个步骤来构建任务，按照提示一步一步来：
①构建reader：
②构建writer：
③ 字段映射：
④ 构建任务（构建->选择模板->下一步）
⑤ 启动任务
4.4 step4: 查看任务
启动完成后，在日志管理模块，可以看到任务的执行结果：
在SQLServer目标源，可以看到同步成功结果：
05 文末
本文主要讲了DataX Web的概念以及基本使用，具体的源码需要去Debug并应用到实际的项目中去，本文完！
