一、下载准备

1. spark下载

spark下载网站 //spark.apache.org/downl...
在上述网站上找到 Download Spark: spark-x.x.x-bin-hadoopx.x.tgz 点击即可下载最新版本的spark,也可以选择老的版本。

2. scala下载

scala下载网站 //www.scala-lang.org/dow...

3.hadoop下载

hadoop镜像网站 //www.apache.org/dyn/clo...
在这个网站上选择一个镜像网站，例如 //mirrors.hust.edu.cn/ap...
然后在对应的hadoop版本号下，选择hadoop-x.x.x.tar.gz下载解压，一般这个要与spark下载时文件名上的hadoop的版本一致。

4.winutil下载

这个软件是为了是hadoop可以兼容在windows下运行，在github上可以找到很多。这是我下载用过的网址

· win32版本 https://github.com/andygoldsm...

· win64版本 https://github.com/stevelough...

版本好要和自己下载的hadoop版本的hadoop版本对应，下载解压后到 bin/ 目录下执行winutils.exe chmod -R 777 C:/tmp/hive 即可，盘符可换。

二、配置环境变量

解压上述下载的文件到对应目录后，然后配置环境变量，下面的是我的配置

SCALA_HOME  : C:\Program Files (x86)\scala2.11.7;

JAVA_HOME   : C:\Program Files\Java\jdk1.8.0_51

HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1

SPARK_HOME  : C:\Hadoop\spark-2.2.0-bin-hadoop2.7

PATH    : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin

在命令行下运行spark-shell,这样就进入了scala语法的spark-shell。

三、python环境配置

需要将下载后的spark目录下的./python/pyspark复制到python安装目录下的./Lib/site-packages目录下，然后就可以在python代码中import pyspark了，当然也可以在命令行下执行pyspark直接进入python版本的spark-shell

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标系统运维之Windows频道！