스파크(Spark) 설치

윈도우 10 환경에서 스파크(Spark) 설치 방법에 대해서 알아볼 것이다. 스파크를 설치하기 위해 자바(Java)와 스칼라(Scala)가 필요하다. 반드시 자바와 스칼라를 설치한 후, 스파크를 설치하도록 하자. 스칼라의 설치 방법은 아래의 링크를 통해 할 수 있으니, 필요하면 참고하도록 하자.

 

[Scala & Spark] 01. 스칼라(Scala) 설치

 

1. 스파크 다운로드 및 설치

 

(1) 여기(http://spark.apache.org/downloads.html)로 들어가 패키지 타입을 [Pre-built for Apache Hadoop 2.6]으로 선택하고, [spark-2.4-bin-hadoop2.6.tgz]를 선택한다.

 

 

(2) 다음과 같은 화면으로 이동하는데, 다운로드 링크 중 하나를 선택하여 다운받도록 하자.

 

 

(3) 로컬 디스크(C:)에 "spark-2.4.6"라는 이름의 폴더를 만들고, 그 안에 다운받은 "spark-2.4.6-bin-hadoop2.6.tgz"의 압축을 푼다. 이때, 폴더의 이름은 띄어쓰기 없이 자신만의 이름을 지정하여도 상관없다.

 

 

2. winutils 다운로드

 

(1) 여기(https://github.com/steveloughran/winutils)에서 [Code]를 선택하고, [Download ZIP]를 선택하여 다운받도록 하자.

 

 

(2) 로컬 디스크(C:)에 "hadoop"이라는 폴더를 만들고, 그 안에 "bin"이라는 폴더를 만든다. 다운받은 "winutils-master.zip"의 압축을 풀고, "hadoop-2.6.4" 폴더의 "bin" 폴더의 "winutils.exe" 파일을 복사한 후,  "C:\hadoop\bin"에 복사한 파일을 붙여 넣는다.

 

 

3. 환경변수 설정

 

(1) [시스템 변수]에 다음의 변수를 설정한 후, [확인]을 누르자. 이때, 특이한 점은 자바의 경로이다. 스파크는 띄어쓰기 경로를 인식하지 못하므로, 자바의 경로를 "C:\Java\jdk-14.0.2"로 이동시켰다.

 

(변수) / (값)

HADOOP_HOME / C:\hadoop

JAVA_OPTIONS / -Xmx512 -Xmx512M

JAVA_HOME / C:\Java\jdk-14.0.2

SCALA_HOME / C:\scala

SPARK_HOME / C:\spark-2.4.6

 

 

4. 실행

 

명령 프롬프트(CMD) 창에 "spark-2.4.6\bin\spark-shell"을 입력한다. 위치가 C 드라이브가 아니면 실행이 안되니, "cd.."을 입력하여 C 드라이브로 이동한 후, 입력하자.

 

 

제대로 설치되었다면 위와 같은 화면이 출력될 것이다. 만약 그렇지 않다면, 환경변수의 문제일 가능성이 크다. 다시 한번 환경변수를 설정한 후, 스파크를 실행해보자.

 

---

Reference:

"Window 10 에 Spark 설치(install)하기!," BetterThanWholwas, https://jjangjjong.tistory.com/24.