windows 10上安装spark 2.2

Veröffentlicht am

spark不仅可以运行在安装了Hadoop的集群上，同样可以安装在我们的笔记本电脑上。那要怎样安装到最新的Windows 10上呢？

目前最新版的spark是2.2版本，使用的Scala 2.11编译。

  1. 安装java8 JDK，设置好环境变量，确保java -version和Javac -version都好用
  2. 安装Scala 2.11的版本，设置好环境变量，不要安装官网最新版的2.12。确保scala -version和scalac -version都好用
  3. 现在下载最新版spark，我现在的版本是spark-2.2.0-bin-hadoop2.7.tgz。
  4. 解压到C盘中
  5. 设置SPARK_HOME环境变量，C:\spark-2.2.0-bin-hadoop2.7
  6. 添加%SPARK_HOME%\bin到Path
  7. 下载winutils的Hadoop 2.7版本
  8. 把hadoop-2.7.1文件夹复制到C盘
  9. 设置HADOOP_HOME环境变量，C:\hadoop-2.7.1
  10. 添加%HADOOP_HOME%\bin到Path
  11. 打开控制台，输入spark-shell检查安装是否成功。