Win10下安装spark（本地模式）

相关软件及环境准备：
win10
需要提前安装anaconda
java 环境：JDK1.8 版本
hadoop运行在windows环境的插件： hadoop-2.7.1（winutils-master）
spark包：spark-2.4.4-bin-hadoop2.7

spark-2.4.4-bin-hadoop2.7 和winutils-master 下载
链接：https://pan.baidu.com/s/1BFy8xm5bcf-14AWu1nExDg&shfl=sharepset
提取码：mvkv

用到的环境变量

SPARK_HOME   C:\file\spark_package\spark-2.4.4-bin-hadoop2.7
PYTHONPATH   C:\file\spark_package\spark-2.4.4-bin-hadoop2.7\python

pip install py4j 


JAVA_HOME    C:\Program Files\Java\jdk1.8.0_162\bin

使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始。访问 http:// spark.apache.org/downloads.html， 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”（ 为 Hadoop 2.4 及更新版本预编译的版本），然后选择“Direct Download”直接下载

安装spark

把包解压到这个目录下

C:\file\spark_package\spark-2.4.4-bin-hadoop2.7

Win10下安装spark（本地模式)_windows_spark


添加spark系统环境变量：

#添加spark环境变量

添加完环境变量后，可以打开一个cmd运行pyspark即可用spark使用 spark

Win10下安装spark（本地模式)_windows_hadoop_02


Win10下安装spark（本地模式)_windows_spark_03

安装配置hadoop

访问官方http://hadoop.apache.org/releases.html
或者百度云盘
解压到路径 C:\file\hadoop-2.7.1
2、配置

增加系统环境变量：

HADOOP_HOME C:\file\hadoop-2.7.1

在系统环境变量Path增加：%HADOOP_HOME%\bin

Win10下安装spark（本地模式)_windows_spark_04


Win10下安装spark（本地模式)_windows_spark_05

cd C:\file\spark_package\spark-2.4.4-bin-hadoop2.7
进入你的 Spark 目录然后输入：
bin/pyspark
即可

或者启动cmd，输入 ： pyspark 也可进入