Orthogonal Diagonalization, and Spectral Theorem

복수전공하고 있는 수학과의 학부 졸업시험을 위해 2024년 10월부터 선형대수를 다시 공부하고 있습니다. (현재진행형… 🏃‍♂️‍➡️) 선형대수에 대한 전체 포스트 목록은 “Linear Algebra“에서 확인하실 수 있습니다!

들어가며

이전 포스트에서 행렬 $A$를 대각화 하여 표현하는 방법과 이유에 대해 살펴보았습니다.

\[A = P D P^{-1}\]

Orthogonal Diagonalization

행렬이 직교성을 가지면, 역행렬과 전치행렬이 같아집니다.

\[A^{-1} = A^{T}\]

역행렬을 구하는 것보다 전치 행렬을 구하는게 훨씬 쉽기 때문에, 행렬이 직교성을 가진다는 것은 정말정말 좋은 성질 입니다!

“직교-대각화”는 대각화 행렬 $P$가 직교성을 갖는 경우를 말합니다! 따라서, 아래와 같은 성질을 만족합니다.

\[A = P D P^{T}\]

모든 행렬이 대각화 가능하지 않았듯이, 직교-대각화도 조건이 있습니다.

• 행렬 $A$가 대각화 가능 해야 합니다.
  • 행렬 $A$가 정사각 행렬이고,
  • 모든 고유벡터가 서로 독립이어야 합니다.
• 행렬 $A$가 대칭 행렬이어야 합니다.

어떻게 보면 자연스러운 조건인게, $P^{-1} = P^T$를 만족하게 해야 하니, $A = A^T$를 만족하게 하는 대칭성이 당연히 원본 행렬에 필요할 것 같습니다 ㅋㅋ

Orthogonal Eigen Vectors

대각화 행렬의 직교성 $P^{-1} = P^T$에 대해서 좀더 알아봅시다.

대각화 행렬은 모든 고유 벡터를 모은 행렬 입니다. 그런데, 이게 직교성을 갖는다면, 이렇게 얘기할 수 있습니다.

• 모든 고유 벡터들이 서로 직교한다.
  • $\mathbf{v}_i \mathbf{v}_j^T = 0$
• 그리고 모든 고유 벡터는 정규화 되어 있다.
  • $\mathbf{v}_i \mathbf{v}_i^T = 1$

처음에는 고유 벡터의 직교성만 생각 했는데, 정규화 되어 있다는 것도 잊지 말자!

Spectral Theorem

이 정리는 모든 “실수 대칭 행렬”에 아래가 성립함을 말하는 정리 입니다.

모든 실수 대칭 행렬은

• 실수 고유값을 가지며,
• 서로 직교하는 고유 벡터 기저를 가지고,
• 직교대각화 가능하다.

이 정리는 실수 대칭 행렬의 구조를 아주 완벽하게 설명하는 정리 입니다.

실수 고유값을 갖는다는게 뭐가 그리 잘난 건가 싶겠지만, 고유값을 본격적으로 활용하는 미분방정식은 고유값이 “허수”가 나오는 경우가 정말 많습니다. 그리고 허수가 나오면… 식이 아주 처다보기 싫어지죠 ㅋㅋ

그래서 실수 고유값을 가진 다는 것은 계산이 간단하고, 시스템도 (비교적) 간단한다는 것을 말합니다.

스펙트랄 정리는 이후에 데이터를 다루는 응용 이론에서 많이 등장하는 것 같습니다. 학부 선형대수에서는 “실수 대칭 행렬이 너무너무 좋다는 걸 말하는 정리구나~~”하고 넘기면 될 것 같습니다 ㅎㅎ