spark 只分配2个executor,什么原因?-鸿蒙开发者社区-51CTO.COM

spark 只分配2个executor,什么原因?

spark-submit master为yarn。命令如下:
spark-submit --master yarn --deploy-mode cluster --class com.fooww.research.houserank.recommend.data.RentData --jars /root/fangwu/mysql-connector-java-8.0.16.jar,jedis-2.7.0.jar,spark-redis-0.3.2.jar --conf spark.default.parallelism=10 --conf spa
rk.cores.max=10 --conf spark.executor.cores=1 --conf spark_executor_instances=5 --conf num-executor=5 fangwu-spark-1.0.0.jar

为什么执行之后,还是只分配了两个executor?

spark
executor
2023-08-25 13:39:23
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
区之里间

--conf num-executor=5
改成 --num-executor 5


分享
微博
QQ
微信
回复
2023-08-25 15:22:16
相关问题
地图定位不准,是什么原因啊?
215浏览 • 1回复 待解决
ForEach无法遍历全部数据,是什么原因
1827浏览 • 1回复 待解决
nginx缓存导致页面失效什么原因啊?
2293浏览 • 1回复 待解决
mysql 隔几个小时就需要重启什么原因?
2817浏览 • 1回复 待解决
mac操作系统无法配置ohpm什么原因呢?
2580浏览 • 2回复 待解决