[Spark] 로컬환경에 Spark 설치하는 방법

Java, Python, Scala 설치

https://www.oracle.com/java/technologies/javase-downloads.html
https://www.python.org/downloads/
https://www.scala-lang.org/download/2.11.12.html
C:\Program Files\Java\jdk1.8.0_121
C:\Users\user\anaconda3
C:\HadoopEco\scala-2.11.12

Spark 2.7 다운로드후 압축풀기

https://spark.apache.org/downloads.html
C:\HadoopEco\spark-3.2.1-bin-hadoop2.7

winutils.exe 다운로드

Spark 다운로드할 때 선택한 하둡 버전에 맞춰 winutils.exe 파일을 다운로드
C:\Hadoop\bin\winutils.exe

시스템변수 편집 (내PC > 속성 > 환경변수)

SPARK_HOME : C:\HadoopEco\spark-3.2.1-bin-hadoop2.7
HADOOP_HOME : C:\Hadoop
SCALA_HOME : C:\HadoopEco\scala-2.11.12

시스템변수 Path편집 (내PC > 속성 > 환경변수 > )

%SPARK_HOME%\bin, %HADOOP_HOME%\bin, %SCALA_HOME%\bin

anaconda prompt에서 pyspark 설치

pip install pyspark

anaconda prompt에서 pyspark 실행

pyspark