์ํ๊ณผ ์กธ์ ์ํ์ ๋ง์น๊ณ
์ํ ๋ณ๋ก ์ ์ข์ํ๋ ์ปด๊ณต๊ณผ๊ฐ ์ํ๊ณผ ๋ณต์ ์ ๊ณต์ ํ๊ฒ ๋ ์ด์ผ๊ธฐ.
์ํ ๋ณ๋ก ์ ์ข์ํ๋ ์ปด๊ณต๊ณผ๊ฐ ์ํ๊ณผ ๋ณต์ ์ ๊ณต์ ํ๊ฒ ๋ ์ด์ผ๊ธฐ.
25๋ ์ ์ฒซ ์๊ฒฉ์ฆ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ฉฐ. ํ ๋จ๊ณ ์ฑ์ฅํ Data Engineer๋ก ๋์๊ฐ ์ ์์๊น์?
2024๋ ์ ์ฒซ ์๊ฒฉ์ฆ์ผ๋ก ๋์ ํ Istio ์๊ฒฉ์ฆ!! ๊ทธ๋ฆฌ๊ณ K8s ์์ง๋์ด๋ก ์ฑ์ฅํ ๋์ ์ด์ผ๊ธฐ โต๏ธ
์ฝ๋ก๋ ๋๋ฌธ์ 3์ฃผ ๋์ ํ๋ จ์์ ๊ฐํ์ ํ๋ถ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์ ๊ณต๋ถํ๊ฒ ๋ ์ฐ ๐คฆโโ๏ธ
Spark์ ์ง๋ ฌํ, ๊ทธ๋ฆฌ๊ณ ์ง๋ ฌํ ์ฑ๋ฅ์ ์ฌ๋ ค์ฃผ๋ Kryo Serializer ์ฌ์ฉํ๊ธฐ.
Spark 3์ ํต์ฌ ๊ธฐ๋ฅ์ด AQE์ ๋ํด ์ดํด๋ณด์.
Spark Session์ด๋ ๋ฌด์์ธ๊ฐ? Spark Session์ ๋ค์ด์๋, SparkContext, SQLContext ๋ฑ์ ๋ํด ๐
๋ก์ปฌ์์ Spark ํด๋ฌ์คํฐ ๊ตฌ์ถํ๊ธฐ โ๏ธ Master Node๊ฐ Cluster Manager๊ฐ ๋๋ Standalon ๋ชจ๋. Spark Application์ ์คํํ๋ ๋ ๊ฐ์ง ๋ฐฉ๋ฒ: Client ๋ชจ๋, Cluster ๋ชจ๋. Master vs. Worker ๊ทธ๋ฆฌ๊ณ Driver v...
Spark ๊ผผ๊ผผํ ์ดํด๋ณด๊ธฐ์ ์ฒซ๊ฑธ์ ๐ spark-submit์ผ๋ก Spark Application ์คํํ๊ธฐ.