spark集群环境搭建过程 spark集群搭建步骤

一、 下载安装包

地址：http://spark.apache.org/downloads.html

本教程采用Spark-2.4.0对应hadoop2.7版本搭建集群。

二、安装Hadoop并搭建好Hadoop集群环境

Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。如果没有配置好Hadoop的分布式集群环境，请按照，根据教程进行安装。

三、安装Spark

1、 集群规划

2、 解压到相应安装目录

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz

mv spark-2.4.0-bin-hadoop2.7/home/bigdata/bigdata/spark-2.4.0

3、在Master节点主机上进行如下操作：

（1）进入配置文件所在目录

cd /home/bigdata/bigdata/spark-2.4.0/conf/

（2）配置slaves文件

将 slaves.template 拷贝到 slaves

cp slaves.template slaves

slaves文件设置Worker节点。修改slaves内容（vim slaves）,把默认内容localhost替换成如下内容并保存：

westgis002
westgis003

（3）配置spark-env.sh文件
将 spark-env.sh.template 拷贝到 spark-env.sh

cp spark-env.sh.template spark-env.sh

编辑spark-env.sh，（vim spark-env.sh）添加如下内容：

export SPARK_DIST_CLASSPATH=$(/home/bigdata/bigdata/hadoop-2.7.7/bin/hadoop classpath)

#指定默认master的ip或主机名
export SPARK_MASTER_HOST=westgis001 

#指定maaster提交任务的默认端口为7077    
export SPARK_MASTER_PORT=7077 

#指定masster节点的web端口       
export SPARK_MASTER_WEBUI_PORT=8080 

#每个worker从节点能够支配的内存数 
export SPARK_WORKER_MEMORY=1g       


#允许Spark应用程序在计算机上使用的核心总数（默认是用所有可用核心）
export SPARK_WORKER_CORES=1   


#每个worker从节点的实例（可选配置） 
export SPARK_WORKER_INSTANCES=1  


#指向包含Hadoop集群的（客户端）配置文件的目录，运行在Yarn上配置此项  
export HADOOP_CONF_DIR= /home/bigdata/bigdata/hadoop-2.7.7/etc/Hadoop

（4）将安装包分发给其他节点

scp -r spark-2.4.0 westgis002:/home/bigdata/bigdata/
scp -r spark-2.4.0 westgis003:/home/bigdata/bigdata/

（5）配置备Master为westgis002

修改westgis002节点上conf/spark-env.sh配置export SPARK_MASTER_HOST=westgis002

4、配置环境变量(所有节点均要配置)

vim ~/.bashrc

添加

export SPARK_HOME=/home/bigdata/bigdata/spark-2.4.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行如下命令使得配置立即生效：

source ~/.bashrc

四、启动Spark集群

1、启动Hadoop集群

启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

2、启动Spark集群

（1）启动Master节点，在Master节点主机上运行如下命令:

start-master.sh

在Master节点上运行jps命令，可以看到多了个Master进程：

（2）启动所有Slave节点，在Master节点主机上运行如下命令：

start-slaves.sh

分别在westgis002、westgis003节点上运行jps命令，可以看到多了个Worker进程。

注意:备用master节点需要手动启动

到westgis002下：

start-master.sh

3、在浏览器上查看Spark独立集群管理器的集群信息，打开浏览器，访问http://192.168.56.4:8080,如下图：

五、关闭Spark集群

1、关闭Master节点

stop-master.sh

关闭备用Master节点（在westgis002上输入）

stop-master.sh

2、关闭Worker节点

stop-slaves.sh

3、 关闭Hadoop集群

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver