部署模式对比

　　　模式

Spark安装机器数

    需要启动的进程

  所属

应用场景

      Local

　　　　1

　　　  无

 Spark

  测试

  Standalone

　　　　3

Master&Worker

 Spark

单独部署

       Yarn

　　　　1

   Yarn&HDFS

Hadoop

混合部署

端口号:

　　- 4040(计算端口) : Spark查看当前Spark-shell 运行任务情况端口号

　　- 7077 : Spark Master 内部通信服务端端口号

　　- 8080(资源) : Standalone模式下,Spark Master Web 端口号

　　- 18080 : Spark历史服务器端口号

　　- 8088 : Hadoop YARN 任务运行情况下查看端口号

 

Spark提交作业说明：

 

# 实例
spark-submit \
  --master local[5]  \
  --driver-cores 2   \
  --driver-memory 8g \
  --executor-cores 4 \
  --num-executors 10 \
  --executor-memory 8g \
  --class PackageName.ClassName XXXX.jar \
  --name "Spark Job Name" \
  InputPath      \
  OutputPath

 

1、--class 表示要执行程序的主类，可以更换为自定义的程序

2、--master local[2] 部署模式，默认为本地模式，数字表示分配CPU核数量

3、--driver-cores 2 设置driver使用内核数量为2，默认为1

4、--driver-memory 8g 设置driver内存大小为 8G，默认为512M

5、--executor-cores 4 设置executor使用的内核数为4，默认为1，官方建议 2-5个

6、--num-executors 10 设置executor的数量为10，默认为2

7、--executor-memory 8g 设置executor的内存大小为8G，默认为1G

8、--name 设置作业名称

9、 InputPath&OutputPath  输入输出配置