目录

  • ​​windows下安装pyspark​​
  • ​​PyCharm搭建Spark开发环境​​

windows下安装pyspark

spark和hadoop版本版本之间有对应关系

  1. 安装jdk

PyCharm搭建Spark开发环境&windows下安装pyspark_spark

  1. 安装hadoop

​https://github.com/steveloughran/winutils​

​选择对应的hadoop版本下载​

PyCharm搭建Spark开发环境&windows下安装pyspark_hadoop_02

PyCharm搭建Spark开发环境&windows下安装pyspark_hadoop_03

  • 复制winutils.exe到安装好的hadoop的bin目录下

PyCharm搭建Spark开发环境&windows下安装pyspark_spark_04

  1. 安装spark

​下载spark-2.4.6-bin-hadoop2.7.tgz ​

  • 配置环境变量
  1. 安装Anaconda3.7

​​国内下载和安装配置​​

  • 配置环境变量
  • 复制py4j和pyspark

PyCharm搭建Spark开发环境&windows下安装pyspark_hadoop_05

​将D:\spark-2.4.6-bin-hadoop2.7\python\lib下两个包(pyspark.zip,py4j.zip)解压缩后拷贝到D:\Anaconda\libsite-packages目录下,然后全部替换​

  1. 测试
  • 打开cmd输入pyspark

PyCharm搭建Spark开发环境&windows下安装pyspark_python_06

  • 输入语句
sc.parallelize(["b", "a", "c"]).collect()

PyCharm搭建Spark开发环境&windows下安装pyspark_spark_07

PyCharm搭建Spark开发环境

​上一标题是前提​

  1. 在pycharm中随便建一个python文件
  2. 配置

PyCharm搭建Spark开发环境&windows下安装pyspark_hadoop_08

PyCharm搭建Spark开发环境&windows下安装pyspark_spark_09


​PYSPARK_PYTHON:python路径​​​​SPARK_HOME:spark路径​

PyCharm搭建Spark开发环境&windows下安装pyspark_python_10

  1. 测试程序
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("myapp")
sc = SparkContext(conf=conf)
print(sc.parallelize([1, 2, 3]).collect())