๋ฏธ์ ๋ถํ์ ๋ค์ ๊ณต๋ถํ๋ฉฐ ๋ ์๊ฐ๋ค
์ปด๊ณต๊ณผ ํ์์ด ์ํ๊ณผ ์กธ์ ์ํ์ ์ํด ๊ณ ๊ตฐ๋ถํฌ ํ๋ ์ฒซ๋ฒ์งธ ์ด์ผ๊ธฐ. ๊ทธ๋๋ ๋ณตํ ํ๊ธฐ ์ ์ ๋ฏธ์ ๋ถํ์ ๋๋๋ค๋ ๊ฐ๋์ ์ธ ์ด์ผ๊ธฐ ๐ฅบ
์ปด๊ณต๊ณผ ํ์์ด ์ํ๊ณผ ์กธ์ ์ํ์ ์ํด ๊ณ ๊ตฐ๋ถํฌ ํ๋ ์ฒซ๋ฒ์งธ ์ด์ผ๊ธฐ. ๊ทธ๋๋ ๋ณตํ ํ๊ธฐ ์ ์ ๋ฏธ์ ๋ถํ์ ๋๋๋ค๋ ๊ฐ๋์ ์ธ ์ด์ผ๊ธฐ ๐ฅบ
2024๋ ์ ์ฒซ ์๊ฒฉ์ฆ์ผ๋ก ๋์ ํ Istio ์๊ฒฉ์ฆ!! ๊ทธ๋ฆฌ๊ณ K8s ์์ง๋์ด๋ก ์ฑ์ฅํ ๋์ ์ด์ผ๊ธฐ โต๏ธ
์๋ผ์คํฑ์์น ๋ด๋ถ ํํ: ๋ฃจ์ฌ ์ธ๊ทธ๋จผํธ๋ก ์ดํดํ๋ ๊ฒ์ ์์ง์ ์ฌ์ธํ ๋ฉ์ปค๋์ฆ ๐ฆ
์ฝ๋ก๋ ๋๋ฌธ์ 3์ฃผ ๋์ ํ๋ จ์์ ๊ฐํ์ ํ๋ถ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์ ๊ณต๋ถํ๊ฒ ๋ ์ฐ ๐คฆโโ๏ธ
Spark์์ ๋๋ฆฐ ์์ ์ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๊ธฐ๋ฒ. ๋๋ฆฌ๊ฒ ์คํ๋๋ ์์ ์ ๊ฑด๊ฐํ ์์ปค ๋ ธ๋์ ๋ณต์ ํ์ฌ ์คํํ๋ ๊ธฐ๋ฒ.
Spark์ ์ง๋ ฌํ, ๊ทธ๋ฆฌ๊ณ ์ง๋ ฌํ ์ฑ๋ฅ์ ์ฌ๋ ค์ฃผ๋ Kryo Serializer ์ฌ์ฉํ๊ธฐ.
Github
Spark 3์ ํต์ฌ ๊ธฐ๋ฅ์ด AQE์ ๋ํด ์ดํด๋ณด์.
Spark Session์ด๋ ๋ฌด์์ธ๊ฐ? Spark Session์ ๋ค์ด์๋, SparkContext, SQLContext ๋ฑ์ ๋ํด ๐