๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

Programming/Scala & Spark

(3)
์ฃผํ”ผํ„ฐ ๋žฉ(Jupyter lab)๊ณผ ์ŠคํŒŒํฌ(Spark) ์—ฐ๋™ ์œˆ๋„์šฐ 10 ํ™˜๊ฒฝ์—์„œ ์ฃผํ”ผํ„ฐ ๋žฉ(Jupyter lab)๊ณผ ์ŠคํŒŒํฌ(Spark)๋ฅผ ์—ฐ๋™ํ•ด๋ณด์ž. ์•„๋‚˜์ฝ˜๋‹ค(Anaconda)์™€ ์ŠคํŒŒํฌ๊ฐ€ ์„ค์น˜๋˜์–ด ์žˆ์Œ์„ ์ „์ œํ•˜๊ณ  ์„ค๋ช…์„ ์‹œ์ž‘ํ•˜๋„๋ก ํ•˜๊ฒ ๋‹ค. ์•„๋ž˜์˜ ๋งํฌ๋Š” ์ŠคํŒŒํฌ์˜ ์„ค์น˜ ๋ฐฉ๋ฒ•์ด๋‹ˆ, ํ•„์š”ํ•˜๋ฉด ์ฐธ๊ณ ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜์ž. [Scala & Spark] 02. ์ŠคํŒŒํฌ(Spark) ์„ค์น˜ ์œˆ๋„์šฐ 10 ํ™˜๊ฒฝ์—์„œ ์ŠคํŒŒํฌ(Spark) ์„ค์น˜ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ณผ ๊ฒƒ์ด๋‹ค. ์ŠคํŒŒํฌ๋ฅผ ์„ค์น˜ํ•˜๊ธฐ ์œ„ํ•ด ์ž๋ฐ”(Java)์™€ ์Šค์นผ๋ผ(Scala)๊ฐ€ ํ•„์š”ํ•˜๋‹ค. ๋ฐ˜๋“œ์‹œ ์ž๋ฐ”์™€ ์Šค์นผ๋ผ๋ฅผ ์„ค์น˜ํ•œ ํ›„, ์ŠคํŒŒํฌ๋ฅผ ์„ค์น˜ํ•˜๋„๋ก ํ•˜๏ฟฝ๏ฟฝ rooney-song.tistory.com 1. ์ฃผํ”ผํ„ฐ ๋žฉ ์„ค์น˜ ๋ฐ ๋ฐ”๋กœ๊ฐ€๊ธฐ ๋งŒ๋“ค๊ธฐ (1) ์•„๋‚˜์ฝ˜๋‹ค ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ณ , "pip install jupyterlab"์„ ์ž…๋ ฅํ•˜์—ฌ ์ฃผํ”ผํ„ฐ ..
์ŠคํŒŒํฌ(Spark) ์„ค์น˜ ์œˆ๋„์šฐ 10 ํ™˜๊ฒฝ์—์„œ ์ŠคํŒŒํฌ(Spark) ์„ค์น˜ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ณผ ๊ฒƒ์ด๋‹ค. ์ŠคํŒŒํฌ๋ฅผ ์„ค์น˜ํ•˜๊ธฐ ์œ„ํ•ด ์ž๋ฐ”(Java)์™€ ์Šค์นผ๋ผ(Scala)๊ฐ€ ํ•„์š”ํ•˜๋‹ค. ๋ฐ˜๋“œ์‹œ ์ž๋ฐ”์™€ ์Šค์นผ๋ผ๋ฅผ ์„ค์น˜ํ•œ ํ›„, ์ŠคํŒŒํฌ๋ฅผ ์„ค์น˜ํ•˜๋„๋ก ํ•˜์ž. ์Šค์นผ๋ผ์˜ ์„ค์น˜ ๋ฐฉ๋ฒ•์€ ์•„๋ž˜์˜ ๋งํฌ๋ฅผ ํ†ตํ•ด ํ•  ์ˆ˜ ์žˆ์œผ๋‹ˆ, ํ•„์š”ํ•˜๋ฉด ์ฐธ๊ณ ํ•˜๋„๋ก ํ•˜์ž. [Scala & Spark] 01. ์Šค์นผ๋ผ(Scala) ์„ค์น˜ ์œˆ๋„์šฐ 10 ํ™˜๊ฒฝ์—์„œ ์Šค์นผ๋ผ(Scalar) ์„ค์น˜ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ณผ ๊ฒƒ์ด๋‹ค. ์Šค์นผ๋ผ๋Š” ์ž๋ฐ”(Java)๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ž๋ฐ”(1.8 ๋ฒ„์ „ ์ด์ƒ)๋ฅผ ๋ฐ˜๋“œ์‹œ ์„ค์น˜ํ•ด์•ผ ํ•œ๋‹ค. ๋ฐ˜๋“œ์‹œ ์ž๋ฐ”๋ฅผ ์„ค์น˜ํ•œ ํ›„, ์Šค์นผ๋ผ๏ฟฝ rooney-song.tistory.com 1. ์ŠคํŒŒํฌ ๋‹ค์šด๋กœ๋“œ ๋ฐ ์„ค์น˜ (1) ์—ฌ๊ธฐ(http://spark.apache.org/downloa..
์Šค์นผ๋ผ(Scala) ์„ค์น˜ ์œˆ๋„์šฐ 10 ํ™˜๊ฒฝ์—์„œ ์Šค์นผ๋ผ(Scalar) ์„ค์น˜ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ณผ ๊ฒƒ์ด๋‹ค. ์Šค์นผ๋ผ๋Š” ์ž๋ฐ”(Java)๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ž๋ฐ”(Java)๋ฅผ ๋ฐ˜๋“œ์‹œ ์„ค์น˜ํ•ด์•ผ ํ•œ๋‹ค. ์ž๋ฐ”๋Š” Java SE 8, JDK 8, JRE8 ์ค‘ ํ•˜๋‚˜๋ฅผ ์„ค์น˜ํ•˜๋„๋ก ํ•˜์ž. ์ž๋ฐ”๋ฅผ ์„ค์น˜ํ•œ ํ›„, ์Šค์นผ๋ผ๋ฅผ ์„ค์น˜ํ•˜๋„๋ก ํ•˜์ž. 1. ์Šค์นผ๋ผ ๋‹ค์šด๋กœ๋“œ ๋ฐ ์„ค์น˜ (1) ์—ฌ๊ธฐ(https://www.scala-lang.org/download/)๋กœ ๋“ค์–ด๊ฐ€ [Download the Scala binaries for windows]๋ฅผ ์„ ํƒํ•œ๋‹ค. (2) ๋‹ค์šด๋ฐ›์€ "scala-2.13.3.msi"๋ฅผ ์‹คํ–‰ํ•˜์—ฌ ์„ค์น˜ํ•œ๋‹ค. (2-1) ๋งŒ์•ฝ ์ŠคํŒŒํฌ(Spark)๋ฅผ ์‚ฌ์šฉํ•˜๊ธฐ ์œ„ํ•ด ์Šค์นผ๋ผ๋ฅผ ์„ค์น˜ํ•˜๋Š” ๊ฒฝ์šฐ, ๊ฒฝ๋กœ ์„ค์ •์„ ๋‹ค๋ฅด๊ฒŒ ํ•ด์ฃผ์–ด์•ผ ํ•œ๋‹ค. ๊ฒฝ๋กœ๋ฅผ ์ง์ ‘ ์ง€์ •ํ•˜์ง€ ์•Š์œผ๋ฉด ..