spark环境搭建 spark环境搭建截图

转载

索姆拉 2023-08-14 13:27:55

文章标签 spark环境搭建 spark hadoop hdfs 文章分类 Spark 大数据

Spark环境搭建

总结:

1.模式简介
2.两种onYarn模式区别(SparkOnYarn模式和之前的Spark集群没有半毛钱关系)

2.1.Driver`运行的位置`不一样
2.2.运行结果如果在控制台输出
2.3.提交命令参数不一样
2.4.通信成本不一样

3.端口

准备工作
Apache的还是CDH的?
Local本地模式-★★★
Standalone独立集群模式-★

模式介绍
集群规划
操作

Standalone-HA高可用集群模式-★★

原理
操作

SparkOnYarn模式-★★★★

前置准备

说明
本质
环境准备
演示SparkOnYarn-Cluster模式--开发中使用
演示SparkOnYarn-Client模式
解决历史日志服务器整合问题

开启Yarn的历史服务器--也就是启动一个进程
开启Spark的历史服务器--也就是启动一个进程
测试

总结:

1.模式简介

==Local本地模式-==开箱即可,直接下载解压就可以用,一般用作学习测试
Standalone独立集群模式-Spark提供的不依赖其他框架的集群模式,一般不用
Standalone-HA高可用集群模式-Spark提供的依赖ZK做高可用的集群模式,在公司中很少用
SparkOnYarn模式-将Spark程序运行在Yarn集群上,由Yarn集群来做统一的资源管理和任务调度-开发中常用,又分为cluster模式和client模式(driver程序运行位置不同)

2.两种onYarn模式区别(SparkOnYarn模式和之前的Spark集群没有半毛钱关系)

spark环境搭建 spark环境搭建截图_spark

2.1.Driver运行的位置不一样

Cluster模式下Driver运行运行在Yarn集群上
Client模式下Driver运行运行在提交任务的客户端上

2.2.运行结果如果在控制台输出

Cluster模式下在客户端黑窗口看不到结果
Client模式下在客户端黑窗口看到结果

2.3.提交命令参数不一样

Cluster模式的参数(该模式下Driver运行ApplicattionMaster这个进程中，如果出现问题，yarn会重启ApplicattionMaster(Driver))

/export/servers/spark/bin/spark-submit  \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10

Client模式的参数(Driver运行在Client上的SparkSubmit进程中)

/export/servers/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10

2.4.通信成本不一样

Cluster模式下Driver和Yarn集群通信成本低
Client模式下Driver和Yarn集群通信成本高
综上: 开发中使用哪一种模式?

使用的Cluster模式. 因为Driver程序运行在Yarn集群上,通信成本低
至于说Cluster模式下黑窗口看不到控制台输出,可以整合日志服务器或将结果输出到hdfs

3.端口

7077:master通信端口,是客户端连接Spark集群提交任务时用的端口
8080:集群状态webUI界面端口
4040:是spark任务查看界面端口

准备工作

需要提前装好的软件:

1.JDK
2.ZK
3.Hadoop

/export/servers

版本号选择

使用企业中使用较多的稳定版Spark2.2.0

spark环境搭建 spark环境搭建截图_hadoop_02

Apache的还是CDH的?

统一使用的CDH5.14版本
但是注意:

CDH5.14版 Spark基于Spark1.6版本较低,且为了推广自家的Impala对Spark SQL进行了阉割,
所以要重新编译
如果想要自己重新编译按照云盘资料中的资料一步步操作

最后大概需要1.5个小时左右
所以可以直接使用安装包中提供好的编译好的spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz
建议大家直接用上面红色圈出来的spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz

Local本地模式-★★★

开箱即用-非常简单!
一般用于学习测试
1.上传spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz到node01的/export/servers目录下
2.解压

tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz

3.改名

mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark

4.启动spark-shell

cd /export/servers/spark/bin

./spark-shell

spark环境搭建 spark环境搭建截图_hadoop_03

5.准备本地文件

vim /root/words.txt

hello me you her
hello you her
hello her
hello

6.执行测试

直接拿官网代码过来改,后续会自己写

sc.textFile("file:///root/words.txt").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile("file:///root/result43")

spark环境搭建 spark环境搭建截图_spark_04

7.退出

:quit

Standalone独立集群模式-★

了解即可-开发中不用!

模式介绍

Standalone独立集群模式表示用的是Spark自带的集群模式,不依赖其他的框架
http://spark.apache.org/docs/latest/cluster-overview.html

spark环境搭建 spark环境搭建截图_spark环境搭建_05

集群规划

node01 安装master 并启动spark-shell.创建sc然后运行spark测试代码
node02 安装worker/slave
node03 安装worker/slave

操作

1.修改配置文件spark-env.sh

cd /export/servers/spark/confmv spark-env.sh.template spark-env.sh

vim spark-env.sh

#配置java环境变量
export JAVA_HOME=/export/servers/jdk1.8
#指定spark老大Master的IP
export SPARK_MASTER_HOST=node01
#指定spark老大Master的提交任务的通信端口
export SPARK_MASTER_PORT=7077

2.修改slaves

mv slaves.template slaves

vim slaves

node02
node03

3.分发

scp -r /export/servers/spark node02:/export/servers
scp -r /export/servers/spark node03:/export/servers

4.启动

先jps看下没有spark相关进程
再执行spark的集群启动命令

cd /export/servers/spark/sbin

./start-all.sh

spark环境搭建 spark环境搭建截图_spark环境搭建_06

5.使用spark-shell连接spark集群

使用spark-shell连接master并提交WordCount任务

cd /export/servers/spark/bin

./spark-shell --master spark://node01:7077

spark环境搭建 spark环境搭建截图_hdfs_07

6.执行测试–注意不要读本地文件了,应该读hdfs文件

sc.textFile("hdfs://node01:8020/wordcount/input/words.txt").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile("hdfs://node01:8020/wordcount/output43")

注意:有的人hdfs文件操作端口可能为9000
注意:如果hdfs没有该文件得创建目录并上传
在hdfs创建目录

hadoop fs -mkdir -p /wordcount/input

上传本地文件到hdfs

hadoop fs -put /root/words.txt /wordcount/input/words.txt

Standalone-HA高可用集群模式-★★

上面的Standalone独立集群模式的Master存在单点故障问题
也就是Master挂了,整个集群就没法工作了,
所以Spark又提供了一个Standalone-HA高可用集群模式
也就是启动多个Master,其中一个挂了,其他的可以替补上(Master的选举/状态检测借助ZK来实现)
注意:这种方式开发中还是不用! 了解即可

原理

spark环境搭建 spark环境搭建截图_hdfs_08

操作

1.修改spark-env.sh

vim /export/servers/spark/conf/spark-env.sh

注释下面这行

#export SPARK_MASTER_HOST=node01

添加下面的zk的配置

spark.deploy.recoveryMode：恢复模式
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181  -Dspark.deploy.zookeeper.dir=/spark"

2.分发

scp /export/servers/spark/conf/spark-env.sh node02:/export/servers/spark/conf/

scp /export/servers/spark/conf/spark-env.sh node03:/export/servers/spark/conf/

3.注意:一定要启动三台ZK

zkServer.sh start

4.重启Spark集群
在node01上执行停止

/export/servers/spark/sbin/stop-all.sh

在node01上执行start-all.sh,会启动node01上的master和node02即node03上的worker

/export/servers/spark/sbin/start-all.sh

在再node02单独启动一个master

/export/servers/spark/sbin/start-master.sh

再jps

spark环境搭建 spark环境搭建截图_spark环境搭建_09

5.通过web界面查看集群状态
http://node01:8080/
http://node02:8080/
6.测试
kill掉node01上的master
再重新访问http://node01:8080/,
发现已经访问不到了

spark环境搭建 spark环境搭建截图_spark环境搭建_11

再过一会访问node02 http://node02:8080/
发现已经成功上位

spark环境搭建 spark环境搭建截图_hdfs_12

再重新启动node01的master

/export/servers/spark/sbin/start-master.sh

再访问http://node01:8080/,
发现只能做备胎了
7.测试WordCount
连接spark

/export/servers/spark/bin/spark-shell --master spark://node01:7077,node02:7077

spark环境搭建 spark环境搭建截图_spark环境搭建_13

执行WordCount

sc.textFile("hdfs://node01:8020/wordcount/input/words.txt").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile("hdfs://node01:8020/wordcount/output43_2")

SparkOnYarn模式-★★★★

开发中使用的模式

前置准备

说明

在实际开发中,Hadoop集群一般早就有了
之前的很多大数据任务也都运行在Yarn上
因为Yarn可以做统一的资源分配,任务调度,支持多种调度策略,方便对所有的大数据任务做统一的管理!
而现在学习了Spark,对于Spark任务来说可以运行在Spark官方提供的Standalone独立集群或者Standalone-HA高可用集群上, 但是不如Yarn成熟专业, 也不方便对所有的大数据任务做统一管理
所以在开发中一般都会将Spark任务提交到Yarn上去运行!

本质

Yarn是一个分布式的基于JVM的大数据资源管理任务调度平台
而我们后续编写的Spark任务/程序也可以打成一个Jar包(里面都是class字节码文件), 然后运行在JVM之上
所以我们完全可以将Spark任务/程序的jar包提交到Yarn上,由Yarn来做统一的资源管理和任务调度!

环境准备

1.Hadoop集群得安装并运行(HDFS可以存储Spark运行时需要的一些依赖,YARN可以做统一的资源管理和任务调度)
2.有一个打好包的Spark程序,现在可以直接使用Spark自带一个example:

/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar

3.得有有一个工具帮我们将Spark程序和依赖的jar包提交给Yarn,可以直接使用Spark提供的脚本工具:

/export/servers/spark/bin/spark-submit

注意:

SparkOnYarn模式和之前的Spark集群没有半毛钱关系,之前的Spark集群可以完全停掉
只需要一个单机版的Spark可以提供jar包和提供工具spark-submit即可

4.所以接下来可以停掉Spark集群

/export/servers/spark/sbin/stop-all.sh

如果jps还有残留可以kill 掉
5.检查并保证Hadoop集群正常运行的
6.修改配置文件
修改spark-env.sh

vim /export/servers/spark/conf/spark-env.sh

增加如下配置

让spark知道hadoop的所有配置
这样后续使用spark-submit命令提交spark的jar包到Yarn上的时候能找到Hadoop

export HADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoop

演示SparkOnYarn-Cluster模式–开发中使用

1.直接执行如下命令

也就是使用spark-submit将spark-examples_2.11-2.2.0.jar 提交给yarn去运行
并指定一些运行参数,如内存/cpu等

/export/servers/spark/bin/spark-submit  \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10

2.去yarn上查看

http://node01:8088/cluster

3.查找运行结果也就是pi的值3.14

提交任务的黑窗口客户端没找着
在yarn集群的log中也没找着(因为yarn的历史日志服务和Spark的历史日志服务器还没有整合)
后续要解决

演示SparkOnYarn-Client模式

1.直接运行下面的命令

和上面命令的区别是–deploy-mode为client

/export/servers/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10

2.查看yarn集群

spark环境搭建 spark环境搭建截图_spark_14

3.查找运行结果也就是pi的值3.14

提交任务的黑窗口中已经找着了计算输出结果3.14

但是yarn历史日志还是没找着
后续需要解决历史日志问题

解决历史日志服务器整合问题

开启Yarn的历史服务器–也就是启动一个进程

1.修改配置yarn-site.xml

vim /export/servers/hadoop/etc/hadoop/yarn-site.xml

增加如下配置

表示关闭内存检查(Spark计算基于内存的) 并开启日志聚合功能

<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://node01:19888/jobhistory/logs</value>
</property>

2.分发到node02和node03

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml node02:/export/servers/hadoop/etc/hadoop/

scp /export/servers/hadoop/etc/hadoop/yarn-site.xml node03:/export/servers/hadoop/etc/hadoop/

3.重启hadoop

/export/servers/hadoop/sbin/stop-dfs.sh

/export/servers/hadoop/sbin/stop-yarn.sh

/export/servers/hadoop/sbin/start-dfs.sh

/export/servers/hadoop/sbin/start-yarn.sh

4.启动yarn的历史服务器

/export/servers/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

spark环境搭建 spark环境搭建截图_hadoop_15

开启Spark的历史服务器–也就是启动一个进程

1.修改spark-default.conf

cd /export/servers/spark/conf

mv mv spark-defaults.conf.template spark-defaults.conf

vim spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://node01:8020/sparklog
spark.yarn.historyServer.address node01:4000

hadoop fs -mkdir -p /sparklog

2.修改spark-env.sh
vim spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node01:8020/sparklog"

3.启动spark的历史服务器

/export/servers/spark/sbin/start-history-server.sh

spark环境搭建 spark环境搭建截图_hdfs_16

测试

再去运行SparkOnYarn的测试,查看历史服务器

/export/servers/spark/bin/spark-submit  \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10