Overview

고유값 분해를 통해 정방행렬을 행렬 분해할 수 있었다. 그러나 실제 데이터는 정방행렬이 아닌 경우가 많다. 그렇다면 어떤 방법을 사용할 수 있을까?

• SVD(특이값 분해)는 정방행렬이 아닌 행렬에 대하여 행렬 분해를 진행할 수 있다.

Orthogonal Matrix (일부)

Orthogonal Matrix(직교행렬)은 행벡터와 열벡터가 정규 직교 기저를 이루는 행렬이다.

• $U_{m \times m}$가 orthogonal matrix라면, $U^{-1} = U^T$이다.
• $U U^T = U^T U = I_{m \times m}$

성질

• 거리 불변 성질 : $\Vert Ux \Vert = \Vert x \Vert$
  • proof

Eigen Value Decomposition (일부)

Eigen value, Eigen vector

임의의 행렬 $A \in \R^{n \times n}$에 대해 고유값, 고유벡터를 다음과 같이 정의할 수 있다.

$A \bold{v} = \lambda \bold{v}$

• $A : m \times n$ 행렬
• $\lambda$ : 고유값
• $\bold{v}$ : 고유벡터 (열벡터)

Eigen Value Decomposition

Eigen Value Decomposition(고유값 분해, EVD)은 정방 행렬 $A \in R^{n \times n}$에 대해 고유값과 고유벡터로부터 유도되는 고유값 행렬과 고유벡터 행렬에 의해 분해될 수 있는 행렬의 표현이다.

$\begin{aligned} A \bold{v_1} &= \lambda \bold{v_1}\\ A \bold{v_2} &= \lambda \bold{v_2}\\ & \vdots\\ A \bold{v_n} &= \lambda \bold{v_n}\\ \end{aligned}$에 대하여,

행렬 $A$의 고유 벡터들을 열벡터로 하는 행렬을 $P$, 고유값을 대각원소로 가지는 대각 행렬을 $\Lambda$라고 하면,