Options:
--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local.
--deploy-mode DEPLOY_MODE 通过 ("client") or ("cluster")模式启动你的集群 (Default: client).
--class CLASS_NAME 应用程序的类名 (for Java / Scala apps).
--name NAME A name of your application.
--jars JARS jar包位置
--exclude-packages 用逗号分隔的groupId列表:artifactId,以排除包中提供的依赖项以避免依赖冲突
--driver-memory MEM 驱动内存大小 (e.g. 1000M, 2G) (Default: 1024M).
--driver-java-options 传递给驱动程序的额外java选项
--driver-library-path 要传递给驱动程序的额外库路径
--driver-class-path 要传递给驱动程序的额外类路径条目。注意jar包会自动包含在类路径
--executor-memory MEM 每个 executor的内存 (e.g. 1000M, 2G) (Default: 1G).
--help, -h Show this help message and exit.
--verbose, -v Print additional debug output.
--version, Print the version of current Spark.
spark standlone模式和cluster模式部署特有:
--driver-cores NUM driver占cup核的数量 (Default: 1).
spark standlone模式和Mesos cluster模式部署特有:
--supervise 如果给定,失败时重新启动驱动程序
--kill SUBMISSION_ID 如果给定,kill指定程序
--status SUBMISSION_ID 如果给定请求指定驱动的状态
spark standalone模式和 Mesos模式特有:
--total-executor-cores NUM 所有的executors总共的cpu核心数.
spark standalone模和YARN模式特有:
--executor-cores NUM 每个executor占用的核心数. (Default: YARN模式是1,
Standalone模式是所有可用的核心数)
YARN模式特有:
--driver-cores NUM driver所用的cup的核, only in cluster mode (Default: 1).
--queue QUEUE_NAME 提交到yarn的队列 (Default: "default").
--num-executors NUM executors 的数量 (Default: 2).
如果启用了动态分配,那么执行器的初始数量是NUM
--archives ARCHIVES 要提取到每个执行程序的工作目录中的存档列表,用逗号分隔。
--principal PRINCIPAL 在安全的HDFS上运行时,用于登录到KDC的主体。