在eclipse中运行时提示A master URL must be set in your configuration

在VM arguments里添加  -Dspark.master=local  解决了


内存溢出

-Xms512m -Xmx512m



写spark插件,插件中使用slf4j日志框架  在cli运行时打印不出来
原因是默认log级别是warn,可以自己设置
sc.setLogLevel("info")


运行spark出现slf4j日志错误

添加了spark-core的依赖之后,就不要再添加slf4j-api和slf4j-log4j12的依赖了

spark-core中的jul-to-slf4j和jcl-over-slf4j会和上面两个包冲突。随便去掉一套就可以了