1.先通过idea获得程序打包后的jar
2.进入spark的安装目录,
启动master: ./sbin/start-master.sh
打开浏览器,输入http://localhost:8080/
启动worker: ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://1598007611deMacBook-Air.local:7077
可以发现两个端口的地址是相同的,这是spark严格的规范
可以看到work已经成功的跑起来了!可以在4040端口查看job进度:
接下来执行提交命令,将打好的jar包上传到linux目录,jar包在项目目录下的out\artifacts下。
提交作业: ./bin/spark-submit --master spark://localhost:7077 --class WordCount /home/lucy/learnspark.jar