Truncation Error

수학과 복수전공을 위해 졸업 마지막 학기에 “수치해석개론” 수업을 듣게 되었습니다. 수학과 졸업시험도 겸사겸사 준비할 겸 화이팅 해봅시다!! 전체 포스트는 “Numerical Analysis“에서 확인할 수 있습니다.

Taylor’s Theorem

Supp $f \in C^{n}[a, b]$ that $f^{(n+1)}$ exists on $[a, b]$, and $x_0 \in [a, b]$.

For every $x \in [a, b]$, there exists a number $\xi(x)$ btw $x_0$ and $x$ with

\[f(x) = P_n(x) + R_n(x)\]

where

\[P_n(x) = \sum_{k=0}^n \frac{f^{(k)}(x_0)}{k!} (x-x_0)^k\]

and

\[R_n(x) = \frac{f^{(n+1)}(\xi(x))}{(n+1)!} (x-x_0)^{n+1}\]

Taylor 전개를 $n$차까지 수행하는 것을 $P_n(x)$라고 두고, 나머지의 오차 파트를 Remainder term $R_n(x)$로 표현 했습니다.

저는 $R_n(x)$ 부분이 잘 와닿지 않았는데요, 일단 $\xi(x)$부터 친해지기 어려웠습니다 ㅋㅋ 그래서 일단 이 녀석부터 해설해보려고 합니다.

$\xi(x)$는 “a number btw $x_0$ and $x$” 입니다. 마음 같아선 $\xi(x) \in (x_0, x)$라고 표현하고 싶지만, $x_0$와 $x$ 사이에 대소관계가 정해지지 않기 때문에 저렇게 표현 합니다.

$\xi(x)$는 $x$에 의존하는 함수 입니다. Taylor 전개로 근사하려는 값 $x$에 의해 $\xi(x)$의 값도 달라지기 때문입니다. 함수 관계 없이 $\xi$를 이해해보려고 한다면, 아래와 같이 적을 수 있습니다.

\[\xi \in (\min(x, x_0), \max(x, x_0))\]

그런데, $\xi(x)$의 값을 정확히 알거나, $\xi(x)$의 함수를 정확히 추론하는 것도 불가능 합니다. $R_n(x)$ 텀은 오차항이 $\frac{f^{(n+1)}(\xi(x))}{(n+1)!} (x-x_0)^{n+1}$ 이렇게 표현 가능하다는 존재성만 얘기하지 이에 대한 일반화된 해답을 제공하지는 않습니다.

Case Study

Polynomial - 1

$f(x) = 4 x^3 + 3 x^2 + 2 x + 1$라고 하고, $x_0 = 0$라고 하자. 이것을 2차 테일러 근사 해보자.

\[\begin{aligned} f'(x) &= 12 x^2 + 6 x + 2 \\ f''(x) &= 24 x + 6 \\ f'''(x) &= 24 \end{aligned}\] \[P_n(x) = f(0) + \frac{f'(0)}{1!} x + \frac{f''(0)}{2!} x^2 = 1 + 2 x + 3 x^2\]

그리고 나머지항 $R_n(x)$는

\[R_n(x) = \frac{f'''(\xi(x))}{3!} x^3 = \frac{24}{6} x^3 = 4 x^3\]

앞에서는 $\xi(x)$를 포함해 $R_n(x)$를 정확히 알 수 없다고 하였지만, 이렇게 $R_n(x)$이 명확히 나오는 경우도 있습니다. 그러나, 이것은 $f(x)$가 다항식인 경우만 가능한 케이스 입니다.

Polynomial - 2

$f(x) = 5 x^4 + 4 x^3 + 3 x^2 + 2 x + 1$라고 하고, $x_0 = 0$라고 하자. 이것을 2차 테일러 근사 해보자.

\[\begin{aligned} f'(x) &= 20 x^3 + 12 x^2 + 6 x + 2 \\ f''(x) &= 60 x^2 + 24 x + 6 \\ f'''(x) &= 120 x + 24 \end{aligned}\] \[P_n(x) = f(0) + \frac{f'(0)}{1!} x + \frac{f''(0)}{2!} x^2 = 1 + 2 x + 3 x^2\]

그리고 나머지항 $R_n(x)$는

\[R_n(x) = \frac{f'''(\xi(x))}{3!} x^3 = \frac{120 \xi(x) + 24}{6} x^3 = (20 \xi(x) + 4) x^3\]

이번에는 $R_n(x)$에 $\xi(x)$ 텀이 포함 되었습니다. 이 경우는 오차 $| f(x) - P_n(x) |$를 명확히 구하기 어렵습니다. 그래서 오차 한계(Error Bound)를 구해야 합니다.

\[\| f(x) - P_n(x) \| = \| (20 \xi(x) + 4) x^3 \|\]

이 경우, $| \xi(x) | \le | x |$라는 부등식이 성립합니다. 따라서,

\[\text{Err} = \| (20 \xi(x) + 4) x^3 \| \le \| (20 x + 4) x^3 \| = \| 20 x^4 + 4 x^3 \|\]

그런데, 하나 궁금해진 것은 $| f(x) - P_n(x) | = | 5 x^4 + 4 x^3 |$으로 정확히 구해지는데, 오차 한계라는 부등식으로 오차의 상한을 대신 구하는 걸까요?

다항식의 경우는 정확한(exact) 오차를 구할 수 있습니다만, 테일러 전개를 수행하는 대부분의 함수를 그렇지 않습니다. 그렇기 때문에 $\xi(x)$가 들어가는 $R_n(x)$을 구하고, 이를 통해 오차의 최대값을 구하는 것 입니다. 오차 분석은 보통 아래와 같은 폼으로 이뤄지는데요.

\[\| R_n(x) \| \le \frac{M}{(n+1)!} \| x - x_0 \|^{n+1}\]

이때, $M$은 $f^{(n+1)}(\xi(x))$가 $x$와 $x_0$ 사이에서 가질 수의 함수의 최대값을 말합니다.

Cosine

$f(x) = \cos x$라고 하고, $x_0 = 0$라고 하자. 이것을 2차 테일러 전개 해보겠습니다.

\[\begin{aligned} f'(x) &= - \sin x \\ f''(x) &= - \cos x \\ f'''(x) &= \sin x \end{aligned}\]

그러면

\[P_n(x) = f(0) + f'(0) x + \frac{f''(0)}{2!} x^2 = 1 + 0 - \frac{1}{2} x^2\] \[R_n(x) = \frac{f'''(\xi(x))}{3!} x^3 = \frac{1}{6} x^3 \sin \xi(x)\]

이렇게 2차 근사를 구한 상태에서 $x = 0.01$로 대입해보겠습니다. 그러면 근사값 $P_2(x = 0.01)$는

\[P_2(0.01) = 1 - \frac{(0.01)^2}{2} = 0.99995\]

그리고, 오차텀 $R_2(x=0.01)$은 아래와 같습니다.

\[R_2(0.01) = \frac{10^{-6}}{6} \sin \xi(0.01)\]

이때, $\sin \xi(0.01)$의 값을 명확히 알 수 없기 때문에, 오차 한계를 설정해야 합니다. 우리는 $\sin \xi(0.01)$ 값이 [-1, 1] 사이에 있다는 것을 알기 때문에 오차텀은 아래와 같은 부등식이 됩니다.

\[\| R_2 (0.01) \| \le \frac{10^{-6}}{6} \approx 1.6 \times 10^{-6}\]

그런데, 여기에서 더 나아가면, 0에 가까운 아주 작은 $x$ 값에 대해서는 아래의 부등식이 성립합니다.

\[\| \sin x \| \le \| x \|\]

이것을 활용하면 오차 한계를 더 줄일 수 있습니다.

\[\| R_2 (0.01) \| \le \| \frac{10^{-6}}{6} \cdot x \| \le \frac{10^{-8}}{6} \approx 1.6 \times 10^{-8}\]

higher approximation

이번에는 같은 함수와 상황에 대해 3차 근사를 해보겠습니다. 그러면, 함수는 아래와 같이 근사 됩니다.

\[\cos x = 1 - \frac{1}{2}x^2 + \frac{1}{24} x^4 \cos \xi(x)\]

보면 2차 근사와 3차 근사의 다항식 부분은 같고, 이에 따라 근사값도 같습니다: $P_2(x) = P_3(x)$. 그런데, 나머지항은 두 근사가 다르게 표현 됩니다.

3차 근사에 대한 오차 한계를 계산해보면,

\[\| \frac{1}{24}x^4\cos \xi(x) \| \le \frac{1}{24} (0.01)^4 (1) \approx 4.2 \times 10^{-10}\]

numerical of Taylor polynomial

$\int_a^b f(x) \, dx$에 대한 적분값을 구할 때도 $\int_a^b P(x) \, dx$를 대신 구하는 방식으로도 테일러 근사를 활용할 수 있습니다. 만약, 적분하기 어려운 함수가 있다면 이렇게 근사를 통해 적분을 구할 수 있습니다.

예를 들어, $\sin (0.1)$의 값을 구한다고 해봅시다. $\sin(x)$에 대해 바로 테일러 근사를 하는 방법도 있겠지만, 앞에서 $\cos x$에 대한 근사를 했으니 이를 활용해보겠습니다.

\[\sin(0.1) = \int_0^{0.1} \cos x \, dx\]

관계를 이용하면 $\sin (0.1)$를 근사식에 대한 적분으로 구할 수 있습니다.

\[\begin{aligned} \sin (0.1) &\approx \int_0^{0.1} P_3(x) \, dx \\ &= \int_0^{0.1} \left( 1 - \frac{1}{2} x^2 \right) \, dx \\ &= \left[x - \frac{1}{6}x^3\right]_0^{0.1} \\ &= 0.1 - \frac{1}{6} (0.1)^3 \\ &\approx 0.09983 \end{aligned}\]

그리고 오차 한계도 $\cos x$의 오차텀 $R_2(x)$를 통해 유도할 수 있습니다.

\[\frac{1}{24} \left\| \int_0^{0.1} x^4 \cos \xi (x) \, dx \right\| \le \frac{1}{24} \int_0^{0.1} x^4 \, dx = \frac{(0.1)^5}{120} \approx 8.3 \times 10^{-8}\]

맺음말

“수치해석개론(MATH351)“의 첫걸음을 내딛었습니다! 졸업 시험을 위해 수강 신청한 과목이지만, 이 과목을 통해 저의 수학적 견문이 더 넓어졌으면 좋겠습니다 ㅎㅎ 수학과의 과목들이 수업을 들을 당시에는 참 고되고 이걸 어떻게 체득할지 고민이 많이 되지만, 이어지는 이론들을 따라가면 그 속에서 소소한 재미도 보이고, 문제를 해결하는 영감들이 보이는 것 같습니다.

그럼 이번 학기도 화이팅!! 졸업 시험도 화이팅!!!!