spark测试环境变量 在线spark环境

Spark运行环境

1. Spark运行环境

1.1 Spark运行概述

• Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行

1.2 Local模式

1.2.1 Local模式概述

• 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。

1.2.2 解压缩文件rz -E

• 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-local

1.2.3 启动Local环境

• 进入解压缩后的路径，执行如下指令

bin/spark-shell

• 启动成功后，可以输入网址进行Web UI监控页面访问

• 输入网页地址：http://hadoop-001:4040

1.2.4 命令行工具

• 在解压缩文件夹下的data目录中，添加word.txt文件。在命令行工具中执行如下代码指令（和IDEA中代码简化版一致）

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

1.2.5 退出本地模式

• 按键Ctrl+C或输入Scala指令

:quit

1.2.5 直接提交应用

• 直接提交local本地应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[4] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

1. –class表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
2. –master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU核数量
3. spark-examples_2.12-3.0.0.jar 运行的应用类所在的jar包，实际使用时，可以设定为咱们自己打的jar包
4. 数字10表示程序的入口参数，用于设定当前应用的任务数量

2.1 Standalone模式

2.1.1 概述

• local本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark的Standalone模式体现了经典的master-slave模式。
  集群规划:

2.1.2 解压缩文件

• 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module 
mv spark-3.0.0-bin-hadoop3.2 spark-standalone

2.1.3 修改配置文件

1）进入解压缩后路径的conf目录，修改slaves.template文件名为slaves

mv slaves.template slaves

2. 修改slaves文件，添加worker节点

hadoop-001
hadoop-002
hadoop-003

3. 修改spark-env.sh.template文件名为spark-env.sh

mv spark-env.sh.template spark-env.sh

4. 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop-001
SPARK_MASTER_PORT=7077

• 注意：7077端口，相当于hadoop3内部通信的8020端口，此处的端口需要确认自己的Hadoop配置

5. 分发spark-standalone目录

2.1.4 启动集群

1. 执行脚本命令：

sbin/start-all.sh

2. 查看三台服务器运行进程

================hadoop-001================
3330 Jps
3238 Worker
3163 Master
================hadoop-002================
2966 Jps
2908 Worker
================hadoop-003================
2978 Worker
3036 Jps

3. 查看Master资源监控Web UI界面: http://hadoop-001:8080

4. 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

• –class表示要执行程序的主类
• –master spark://hadoop-001:7077 独立部署模式，连接到Spark集群
• spark-examples_2.12-3.0.0.jar 运行类所在的jar包
• 数字10表示程序的入口参数，用于设定当前应用的任务数量

2. 配置历史服务

2.1 简介

• 由于spark-shell停止掉后，集群监控hadoop-001:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

2.2 如何配置

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2) 修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled     true
spark.eventLog.dir        hdfs://hadoop-001:9820/directory

注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /directory

3) 修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop-001:9820/directory 
-Dspark.history.retainedApplications=30"

• 参数1含义：WEB UI访问的端口号为18080
• 参数2含义：指定历史服务器日志存储路径
• 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4) 分发配置文件

5) 重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6) 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

7) 查看历史服务：http://hadoop-001:18080

ark.examples.SparkPi 
 –master spark://hadoop-001:7077 
 ./examples/jars/spark-examples_2.12-3.0.0.jar 
 10