주피터 랩(Jupyter lab)과 스파크(Spark) 연동

윈도우 10 환경에서 주피터 랩(Jupyter lab)과 스파크(Spark)를 연동해보자. 아나콘다(Anaconda)와 스파크가 설치되어 있음을 전제하고 설명을 시작하도록 하겠다. 아래의 링크는 스파크의 설치 방법이니, 필요하면 참고할 수 있도록 하자.

 

[Scala & Spark] 02. 스파크(Spark) 설치

 

1.  주피터 랩 설치 및 바로가기 만들기

 

(1) 아나콘다 프롬프트를 실행하고, "pip install jupyterlab"을 입력하여 주피터 랩을 설치한다.

 

 

(2) 주피터 랩은 따로 실행파일이 존재하지 않으므로 배치파일(Batch file)을 만들어 실행해야 한다. 배치파일을 만들기 위해 "...\anaconda3\Scripts"로 이동한 후, "actvate.bat"을 찾는다.

 

 

(3) "actvate.bat"파일을 복사하여 붙여넣기를 한 다음, 이름을 "activate_lab.bat"로 바꾸어 준다. 이때, 자신이 원하는 이름으로 바꿔도 상관없다.

 

 

(4) "activate_lab.bat"를 실행한 후, 마지막 줄에 아래의 문구와 같이 입력한다. 이때, 첫 번째 줄의 경로는 자신의 작업하는 공간의 위치를 입력하고 저장하도록 하자.

 

cd <작업공간의 위치>

jupyter lab

 

 

(5) "activate_lab.bat"의 바로가기를 만들어 바탕화면 또는 자신이 원하는 위치로 옮긴다.

 

2. 스파크 커널 설치 및 확인

 

(1) 아나콘다 프롬프트를 실행한 후, "pip install spylon-kernel"을 입력하여 스파크 커널을 설치한다.

 

 

(2) "activate_lab.bat"를 실행한다. 실행하면 아래의 그림과 같은 창이 뜨는데, [spylon-kernel]을 선택한 후, [Select]을 누른다.

 

 

(3) 간단한 연산을 수행하여 제대로 작동하는지 확인해보자. 제대로 설치되었다면 아래의 그림과 같이 연산을 수행한 결과의 화면이 나타날 것이다.

 

 

---

Reference:

"Jupyter Lab에서 Spark 실행하기," lamanus, https://lamanus.kr/68.

"Jupyter lab 설치 및 바로가기 만들기," worb1605, https://m.blog.naver.com/PostView.nhn?blogId=worb1605&logNo=221456891149&proxyReferer=https:%2F%2Fwww.google.com%2F.