ha spark 安装部署 spark的安装详细过程

文章目录

• 前言
• 一、事先准备
• 二、上传安装包到linux上
• 三、解压安装包
• 四、配置文件

• 1.spark-env.sh.template
• 2.workers.template

• 五、分发给其他结点
• 六、配置全局环境变量
• 七、启动集群
• 八、查看进程
• 九、网页访问
• 十、验证
• 总结

---

前言

本文记录的是spark-3.1.2的安装详细步骤，建议收藏起来悄悄卷~~

---

一、事先准备

1. 集群机器相互同步时间
2. 机器之间实现免密登录
3. 所有机器都关闭防火墙
4. 所有机器都需要安装JDK1.8
5. Hadoop环境最好是在3.2

二、上传安装包到linux上

安装包名：spark-3.1.2-bin-hadoop3.2.tgz

我是上传到了softwares目录下

三、解压安装包

先cd进softwares目录下，然后将安装包解压至/usr/local/路径下

[root@cq01 softwares]# tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local/

进入/usr/local下，对spark-3.1.2-bin-hadoop3.2.tgz进行重命名为spark

[root@cq01 softwares]# cd /usr/local/
    [root@cq01 local]# mv spark-3.1.2-bin-hadoop3.2/ spark

四、配置文件

从安装路径进入到conf下，进行配置

[root@cq01 local]# cd /usr/local/spark/conf/

1.spark-env.sh.template

重命名为spark-env.sh

[root@cq01 conf]# mv spark-env.sh.template spark-env.sh

编辑spark-env.sh文件

[root@cq01 conf]# vi spark-env.sh

在文档末尾添加上jdk的安装路径

2.workers.template

重命名为workers

[root@cq01 conf]# mv workers.template workers

根据自己的节点来添加从节点（注意不要写Master节点进去）

[root@cq01 conf]# vi workers

五、分发给其他结点

先退回到local路径下

[root@cq01 conf]# cd /usr/local/

将配置好的内容分发给其他节点（根据自己集群机器的数量来分发）

[root@cq01 local]# scp -r ./spark/ cq02:$PWD
    [root@cq01 local]# scp -r ./spark/ cq03:$PWD

六、配置全局环境变量

配置好全局环境变量可以在任意位置使用bin下的脚本。注意顺便把其他几台的环境变量也配一下。

[root@cq01 local]# vi /etc/profile

#spark environment
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

重新启动环境变量

[root@cq01 local]# source /etc/profile

七、启动集群

进入安装目录下的sbin目录

[root@cq01 spark]# cd /usr/local/spark/sbin/

启动

[root@cq01 sbin]# ./start-all.sh

出现以下提示则表示启动完成

八、查看进程

使用jps命令查看进程。我这里是写了一个查看集群所有机器的进程。

[root@cq01 sbin]# jps-cluster.sh

出现以下的进程表示已经启动成功

九、网页访问

spark3.1.2提供的webUI界面端和tomcat的端口一样8080，所以我们可以通过输入网址http://虚拟机Master的IP地址:8080来访问，然后就会出现下图界面

十、验证

进入到spark的bin目录下，执行以下命令

[root@cq01 bin]# ./run-example SparkPi 5 --master local[1]

出现以下界面，则表示以及成功运行

---

总结

至此就已经完成了spark-3.1.2的安装。如果有什么问题，欢迎一起交流。