dolphinscheduler 需要安装在hadoop 那台吗 apache dolphinscheduler 搭建

系列文章目录

DolphinScheduler第一章：环境安装

---

文章目录

• 系列文章目录
• 前言
• 一、环境准备

• 1.上传文件
• 2.数据库配置
• 3.配置安装文件

• 二、集群部署

• 1.数据部署
• 2.部署 DolphinScheduler
• 3. DolphinScheduler 启停命令

• 总结

---

前言

我们现在开始学习hadoop中的DolphinScheduler组件。
Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

---

一、环境准备

1.上传文件

我们在之前zk的集群基础上进行学习，所以要先回复一下快照保证zk可以正常使用。

确定可以正常使用之后记得关掉。

上传DolphinScheduler文件，实验使用2.0.5，本来准备使用最新版的，但是由于版本操作差异比较大，没有找的合适的教程,所以还是选择了2.0.5.

dolphinscheduler官方地址。

2.数据库配置

首先我们要先安装mysql，具体方法和文件可以参考我的另一篇文章。
mysql安装

#创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#创建用户
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
#赋予权限
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
#刷新
flush privileges;

若出现以下错误信息，表明新建用户的密码过于简单。
Your password does not satisfy the current policy requirements
可提高密码复杂度或者执行以下命令降低 MySQL 密码强度级别。

set global validate_password_policy=0;
set global validate_password_length=4;

3.配置安装文件

mkdir ds
tar -xvf apache-dolphinscheduler-2.0.5-bin.tar.gz -C ds/

vim conf/config/install_config.conf

修改如下地方

ips="hadoop102,hadoop103,hadoop104"
masters="hadoop102"
workers="hadoop102:default,hadoop103:default,hadoop104:default"
alertServer="hadoop102"

apiServers="hadoop102"
installPath="/opt/module/dolphinscheduler"
deployUser="atguigu"

javaHome="/opt/module/jdk8u282-b08"

DATABASE_TYPE="mysql"
SPRING_DATASOURCE_URL=jdbc:mysql://hadoop102:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8
SPRING_DATASOURCE_USERNAME="dolphinscheduler"
SPRING_DATASOURCE_PASSWORD="dolphinscheduler"

registryServers="hadoop102:2181,hadoop103:2181,hadoop104:2181"

yarnHaIps=
singleYarnIp="hadoop103"
hdfsRootUser="atguigu"

还有一个地方建议注释掉

二、集群部署

1.数据部署

将jdbc的jar包放入DolphinScheduler的lib目录（可以再之前的数据库博客中找到）

cp mysql-connector-java-8.0.16.jar ds/apache-dolphinscheduler-2.0.5-bin/lib

运行脚本

./script/create-dolphinscheduler.sh

完成之后可以拿可视化的工具查看一下。

2.部署 DolphinScheduler

先启动hadoop和zk。

运行自动部署脚本（条件允许，可以适当提高虚拟机内存）

./install.sh

确认都是EUNNING后用jpsall查看进程

如果上述进程都存在代表成功，有错误，删除所有服务器中的/opt/module/dolphinscheduler文件，检查配置文件，然后在即安装。

之后可以使用浏览器检查hadoop102:12345/dolphinscheduler

初始用户的用户名为：admin，密码为 dolphinscheduler123

3. DolphinScheduler 启停命令

1）一键启停所有服务
./bin/start-all.sh
./bin/stop-all.sh
注意同 Hadoop 的启停脚本进行区分。
2）启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server
3）启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server
4）启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server
5）启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server

---

总结

此内容为后期追加。
博主电脑内存比较小，而dolphinscheduler比较吃内存，服务开启之后内存直接就顶满了，故此不在更新dolphinscheduler的可视化操作，本身也就是点点鼠标，没有啥难度，看看文档就行了。