Windows平台环境搭建 | |
JDK | 1.8-8u201 |
Scala | 2.11.8 |
spark | 2.2.0 |
hadoop | 2.7.2 |
sbt | 0.13.13.1 |
上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml
1. 首先安装 JDK
1.JDK下载地址：
点开链接你应该看到如下图所示的界面：
2.点击上图中箭头所指的地方，会出现下面的这个界面，此时你需要根据你的电脑系统来进行对应的版本进行选择，在选择版本和下载之前你需要首先接收协议，具体界面如下图所示：
3.双击以后进行JDK的安装（记得按照第二幅图修改一下安装路径，不要什么东西都安装到系统盘,安装路径尽量不要有空格）：
（1）双击进行安装界面如下所示：
4.安装完成后，需要进行环境变量的配置，右键我的电脑—属性----高级系统设置就会看到下面的界面：
5.点击上图中的环境变量，然后开始环境变量的配置：
（1）点击系统变量下面的新建按钮，变量名JAVA_HOME（代表你的JDK安装路径），值对应的是你的JDK的安装路径。
（2）继续在系统变量里面新建一个CLASSPATH变量，其变量值如下图所示：
此处需要注意：最前面有一个英文状态下的小圆点。。。。很多初学者在配置环境变量的时候就会跌倒在这个坑里。
（3）在你的系统变量里面找一个变量名是PATH的变量，需要在它的值域里面追加一段如下的代码：
%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
此时你应该在你原有的值域后面追加，记得在原有的值域后面记得添加一个英文状态下的分号。
最后点击确定，此时JDK的环境变量配置就完成了。
6.测试自己所配置的环境变量是否正确
（1）WINDOWS+R键，输入cmd，进入命令行界面，如下所示：
（2）输入java -version命令，可以出现如下图的提示，你可以看你安装的JDK版本。
（3）输入javac命令可以出现如下的提示：
（4）输入java命令就会出现如下图所示的结果
7.写一段代码可以验证一下
（1）我在E盘新建了一个文件夹叫javafile，在里面有一个Java文件，名字叫TestJava.java，此时需要注意，你的文件名字后缀一定是.java
（2）你需要在你的文件里面写下面的代码：
public class TestJava{
public static void main(String[] args){
System.out.println("I am a java new learner!");
}
}（3）继续windows+r键进入dos命令行，你需要首先进入你java文件所在的目录，然后分别使用javac命令对你的java文件进行编译，然后使用java命令来解析你的javac命令编译的结果，就会如下图所示这样：
此处一定要注意：必须进入文件所在的目录；其次使用javac命令 文件的名字的后面一定要跟着.java的文件后缀；使用java命令时.java后缀可以不用写。
当你执行完javac命令如果没有错误提示，说明通过了编译，就会在你的文件目录下生成一个同名的.class文件。
如果你完成了以上的所有，并且结果显示正确，那么说明你的JDK安装和环境配置都很成功，此时你就可以开始你的JAVA学习了。
JDK1.8 API链接：
JAVA tutorials:
二、Scala的安装
Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中
因为Scala运行在JVM上，所以应该首先配置好JDK环境，然后下面是Windows安装Scala环境的过程：
1、下载
首先去官网http://www.scala-lang.org/，然后点击导航栏的DOWNLOAD，进入下载链接：http://www.scala-lang.org/download/直接点击上面的按钮下载Windows安装包，Windows下安装包较大，100多M，下载到指定位置，准备安装
2、安装
双击scala-2.12.8.msi安装包，启动安装程序，
单击Next下一步，然后选择安装位置，后来全部默认即可进入安装
安装完毕后，点击Finish退出
到这里Scala安装完毕
3、配置
安装Scala之后，需要配置一下环境变量，从而直接从命令行访问，配置过程和JDK类似
进入Windows环境变量，此处不再详细描述，然后在系统变量中新增SCALA_HOME变量，值是安装位置
然后单击确定，编辑Path变量，在后面追加如下配置：
然后单击确定，编辑Path变量，在后面追加如下配置：
4、到这里Scala配置完毕，然后检验配置是否成功
运行cmd，输入 scala -version 可以正常输出版本号：
到这里scala就全部配置成功了！
三、spark 安装
下载后解压到指定目录即可，这里我们选择2.2.0版本
http://spark.apache.org/downloads.html
环境变量：
创建SPARK_HOME：D:\spark-2.2.0-bin-hadoop2.7
Path添加：%SPARK_HOME%\bin
测试是否安装成功：打开cmd命令行，输入spark-shell
spark-shell时报错：error not found：value sqlContext。
四、Hadoop安装
地址：https://archive.apache.org/dist/hadoop/common/
进去之后尽量往下翻，越是下面的版本越新。 
由于我们之前选择下载spark的时候是基于Hadoop2.6版本的，所以我这里选择的是hadoop2.6.4版本
下载完毕后我们直接解压，解压完毕后开始设置我们的环境变量 ，hadoop的环境变量跟配置文件的设置自行百度即可。
需要设置的变量有
HADOOP_HOME：E:\hadoop-2.6.4 （解压目录）
PATH：E:\hadoop-2.6.4\bin
上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志，那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件，如果没有的话，我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:\hadoop-2.6.4\bin 里面，确保该目录中有winutils.exe文件。
那么下面就需要在控制台输入一下命令来修改权限
E:\hadoop-2.6.4\bin\winutils.exe chmod 777 /tmp/hive
1
注意该命令需要根据你实际的hadoop所在目录。
好了，经过这么多的准备工作，我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。
如果你看到上诉两图所圈住的日志信息，那么，恭喜您，spark已经安装成功了！
