Overview

Gaussian Mixture Model은 Clustering에서 특정 데이터가 어느 cluster에 속할 확률을 계산하여 확률적 군집화를 수행할 수 있다.

Gaussian Mixture Model

Gaussian Mixture Model(GMM)은 하나의 데이터 집단이 여러 개의 Gaussian Distribution의 혼합으로 생성되었다고 가정하는 확률 모형이다.

$\displaystyle X \sim \sum_{k=1}^K \pi_k N(\mu_k, \sigma_k)$

$\displaystyle p(x) = \sum_{k=1}^K \pi_k N(x|\mu_k, \Sigma_k)$

• $K$: Gaussian component의 개수
• $\pi_k$: $k$번째 Gaussian의 mixing coefficient
• $\mu_k$: $k$번째 Gaussian의 평균
• $\sigma_k$: $k$번째 Gaussian의 공분산행렬
• 확률 생성 과정

Latent Variable

Latent Variable(잠재 변수)는 관측되지 않은 값 $Z$이다. 관측된 변수 $X$를 통해 숨겨진 $Z$를 추론하고, 추론된 $Z$가 새로운 $X$를 생성한다.

$Z→X$

• $Z$: latent variable
• $X$: observed variable

Bayesian Network를 Factorization하면

$P(Z, X) = P(Z)P(X|Z)$이므로

$P(Z=k) = \pi_k$와

$P(X|Z=k)=N(X|\mu_k, \Sigma_k)$라고 볼 수 있다.