์ํ๊ณผ ์กธ์ ์ํ์ ๋ง์น๊ณ
์ํ ๋ณ๋ก ์ ์ข์ํ๋ ์ปด๊ณต๊ณผ๊ฐ ์ํ๊ณผ ๋ณต์ ์ ๊ณต์ ํ๊ฒ ๋ ์ด์ผ๊ธฐ.
์ํ ๋ณ๋ก ์ ์ข์ํ๋ ์ปด๊ณต๊ณผ๊ฐ ์ํ๊ณผ ๋ณต์ ์ ๊ณต์ ํ๊ฒ ๋ ์ด์ผ๊ธฐ.
25๋ ์ ์ฒซ ์๊ฒฉ์ฆ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ฉฐ. ํ ๋จ๊ณ ์ฑ์ฅํ Data Engineer๋ก ๋์๊ฐ ์ ์์๊น์?
2024๋ ์ ์ฒซ ์๊ฒฉ์ฆ์ผ๋ก ๋์ ํ Istio ์๊ฒฉ์ฆ!! ๊ทธ๋ฆฌ๊ณ K8s ์์ง๋์ด๋ก ์ฑ์ฅํ ๋์ ์ด์ผ๊ธฐ โต๏ธ
์ฝ๋ก๋ ๋๋ฌธ์ 3์ฃผ ๋์ ํ๋ จ์์ ๊ฐํ์ ํ๋ถ ์๊ณ ๋ฆฌ์ฆ์ ๋ค์ ๊ณต๋ถํ๊ฒ ๋ ์ฐ ๐คฆโโ๏ธ
Total Differential๊ณผ Implicit Equation์ ๊ด๊ณ์ ๋ํด ๐
Spark๊ฐ Lazy Evaluation์ ์ฒ๋ฆฌํ๋ ๊ณผ์ . Narrow Transformation๊ณผ Wide Transformation. RDD Partition๊ณผ Spark Task์ ๋ํด.
Spark์์ ๋๋ฆฐ ์์ ์ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๊ธฐ๋ฒ. ๋๋ฆฌ๊ฒ ์คํ๋๋ ์์ ์ ๊ฑด๊ฐํ ์์ปค ๋ ธ๋์ ๋ณต์ ํ์ฌ ์คํํ๋ ๊ธฐ๋ฒ.
Spark์ ์ง๋ ฌํ, ๊ทธ๋ฆฌ๊ณ ์ง๋ ฌํ ์ฑ๋ฅ์ ์ฌ๋ ค์ฃผ๋ Kryo Serializer ์ฌ์ฉํ๊ธฐ.
Spark 3์ ํต์ฌ ๊ธฐ๋ฅ์ด AQE์ ๋ํด ์ดํด๋ณด์.