1.先通过idea获得程序打包后的jar

2.进入spark的安装目录,

启动master:  ./sbin/start-master.sh

打开浏览器,输入http://localhost:8080/

Spark启动window spark启动后的进程_spark

启动worker:  ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://1598007611deMacBook-Air.local:7077

可以发现两个端口的地址是相同的,这是spark严格的规范

Spark启动window spark启动后的进程_jar包_02


可以看到work已经成功的跑起来了!可以在4040端口查看job进度:

Spark启动window spark启动后的进程_jar_03

接下来执行提交命令,将打好的jar包上传到linux目录,jar包在项目目录下的out\artifacts下。

提交作业: ./bin/spark-submit --master spark://localhost:7077 --class WordCount /home/lucy/learnspark.jar