Programming/Scala & Spark (3) ์ธ๋ค์ผํ ๋ฆฌ์คํธํ ์ฃผํผํฐ ๋ฉ(Jupyter lab)๊ณผ ์คํํฌ(Spark) ์ฐ๋ ์๋์ฐ 10 ํ๊ฒฝ์์ ์ฃผํผํฐ ๋ฉ(Jupyter lab)๊ณผ ์คํํฌ(Spark)๋ฅผ ์ฐ๋ํด๋ณด์. ์๋์ฝ๋ค(Anaconda)์ ์คํํฌ๊ฐ ์ค์น๋์ด ์์์ ์ ์ ํ๊ณ ์ค๋ช ์ ์์ํ๋๋ก ํ๊ฒ ๋ค. ์๋์ ๋งํฌ๋ ์คํํฌ์ ์ค์น ๋ฐฉ๋ฒ์ด๋, ํ์ํ๋ฉด ์ฐธ๊ณ ํ ์ ์๋๋ก ํ์. [Scala & Spark] 02. ์คํํฌ(Spark) ์ค์น ์๋์ฐ 10 ํ๊ฒฝ์์ ์คํํฌ(Spark) ์ค์น ๋ฐฉ๋ฒ์ ๋ํด์ ์์๋ณผ ๊ฒ์ด๋ค. ์คํํฌ๋ฅผ ์ค์นํ๊ธฐ ์ํด ์๋ฐ(Java)์ ์ค์นผ๋ผ(Scala)๊ฐ ํ์ํ๋ค. ๋ฐ๋์ ์๋ฐ์ ์ค์นผ๋ผ๋ฅผ ์ค์นํ ํ, ์คํํฌ๋ฅผ ์ค์นํ๋๋ก ํ๏ฟฝ๏ฟฝ rooney-song.tistory.com 1. ์ฃผํผํฐ ๋ฉ ์ค์น ๋ฐ ๋ฐ๋ก๊ฐ๊ธฐ ๋ง๋ค๊ธฐ (1) ์๋์ฝ๋ค ํ๋กฌํํธ๋ฅผ ์คํํ๊ณ , "pip install jupyterlab"์ ์ ๋ ฅํ์ฌ ์ฃผํผํฐ .. ์คํํฌ(Spark) ์ค์น ์๋์ฐ 10 ํ๊ฒฝ์์ ์คํํฌ(Spark) ์ค์น ๋ฐฉ๋ฒ์ ๋ํด์ ์์๋ณผ ๊ฒ์ด๋ค. ์คํํฌ๋ฅผ ์ค์นํ๊ธฐ ์ํด ์๋ฐ(Java)์ ์ค์นผ๋ผ(Scala)๊ฐ ํ์ํ๋ค. ๋ฐ๋์ ์๋ฐ์ ์ค์นผ๋ผ๋ฅผ ์ค์นํ ํ, ์คํํฌ๋ฅผ ์ค์นํ๋๋ก ํ์. ์ค์นผ๋ผ์ ์ค์น ๋ฐฉ๋ฒ์ ์๋์ ๋งํฌ๋ฅผ ํตํด ํ ์ ์์ผ๋, ํ์ํ๋ฉด ์ฐธ๊ณ ํ๋๋ก ํ์. [Scala & Spark] 01. ์ค์นผ๋ผ(Scala) ์ค์น ์๋์ฐ 10 ํ๊ฒฝ์์ ์ค์นผ๋ผ(Scalar) ์ค์น ๋ฐฉ๋ฒ์ ๋ํด์ ์์๋ณผ ๊ฒ์ด๋ค. ์ค์นผ๋ผ๋ ์๋ฐ(Java)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๊ธฐ ๋๋ฌธ์ ์๋ฐ(1.8 ๋ฒ์ ์ด์)๋ฅผ ๋ฐ๋์ ์ค์นํด์ผ ํ๋ค. ๋ฐ๋์ ์๋ฐ๋ฅผ ์ค์นํ ํ, ์ค์นผ๋ผ๏ฟฝ rooney-song.tistory.com 1. ์คํํฌ ๋ค์ด๋ก๋ ๋ฐ ์ค์น (1) ์ฌ๊ธฐ(http://spark.apache.org/downloa.. ์ค์นผ๋ผ(Scala) ์ค์น ์๋์ฐ 10 ํ๊ฒฝ์์ ์ค์นผ๋ผ(Scalar) ์ค์น ๋ฐฉ๋ฒ์ ๋ํด์ ์์๋ณผ ๊ฒ์ด๋ค. ์ค์นผ๋ผ๋ ์๋ฐ(Java)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๊ธฐ ๋๋ฌธ์ ์๋ฐ(Java)๋ฅผ ๋ฐ๋์ ์ค์นํด์ผ ํ๋ค. ์๋ฐ๋ Java SE 8, JDK 8, JRE8 ์ค ํ๋๋ฅผ ์ค์นํ๋๋ก ํ์. ์๋ฐ๋ฅผ ์ค์นํ ํ, ์ค์นผ๋ผ๋ฅผ ์ค์นํ๋๋ก ํ์. 1. ์ค์นผ๋ผ ๋ค์ด๋ก๋ ๋ฐ ์ค์น (1) ์ฌ๊ธฐ(https://www.scala-lang.org/download/)๋ก ๋ค์ด๊ฐ [Download the Scala binaries for windows]๋ฅผ ์ ํํ๋ค. (2) ๋ค์ด๋ฐ์ "scala-2.13.3.msi"๋ฅผ ์คํํ์ฌ ์ค์นํ๋ค. (2-1) ๋ง์ฝ ์คํํฌ(Spark)๋ฅผ ์ฌ์ฉํ๊ธฐ ์ํด ์ค์นผ๋ผ๋ฅผ ์ค์นํ๋ ๊ฒฝ์ฐ, ๊ฒฝ๋ก ์ค์ ์ ๋ค๋ฅด๊ฒ ํด์ฃผ์ด์ผ ํ๋ค. ๊ฒฝ๋ก๋ฅผ ์ง์ ์ง์ ํ์ง ์์ผ๋ฉด .. ์ด์ 1 ๋ค์