情景描述:IDEA控制台出现如下情况:

  错误: 无法初始化主类 com.ibeifeng.sparkproject.spark.UserVisitSessionAnalyzeSpark

  原因: java.lang.NoClassDefFoundError: org/apache/spark/sql/SQLContext

  Process finished with exit code 1

 

此次情况出现原因为MAVEN 的 pom.xml依赖中 关于sparksql的依赖多了<scope>provided</scope> ,情况如下:



<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.2.1</version>
<scope>provided</scope>
</dependency>


解决办法:去掉<scope>provided</scope>,并重新加载 maven 依赖,如此即可。