Overview

방향성을 가지는 확률적 그래프 모형이다.

Directed Graphical Model

Directed Graphical Model(a.k.a. Bayesian Network)은 방향성을 가진 그래프를 이용하여 확률변수 간의 조건부 의존관계를 표현하는 확률적 그래프 모형이다. 일반적으로 DAG(Directed Acyclic Graph)를 사용한다.

• 그래프 표현

  $X→Y$

  이는 확률분포에서 $Y$가 $X$에 조건부로 의존하는 구조를 나타낸다. 다만, 인과 관계가 보장되는 것은 아니다.

• Factorization

  $\displaystyle P(X_1, …, X_n) = \prod_{i=1}^n P(X_i|Pa(X_i))$

  • $Pa(X_i)$: $X_i$의 부모 노드 집합

• 예제

Naive Bayes

Naive Bayes(나이브 베이즈)는 Bayesian Network의 매우 단순하고 특수한 형태이다.

• 핵심 가정: Class $Y$가 주어졌을 때 모든 Feature $X_i$가 서로 조건부 독립이다.

  $X_1 \perp X_2 \perp \cdots \perp X_n | Y$

  즉, 모든 feature가 class Y에 영향을 받지만, 각 feature들 사이에는 직접적인 연결이 없다.

• 예제: Naive Bayes Classifier

Hidden Markov Model

Hidden Markov Model(은닉 마르코프 모형; HMM)은 시간에 따라 변화하는 hidden state $S_t$와 그 상태에서 관측되는 observation $O_t$을 모델링하는 확률적 그래프 모형이다.

Main Assumptions

1. Markov Assumption: 현재 상태는 바로 이전 상태에 의해서만 결정된다.

   $P(S_t|S_{1:t-1}) = P(S_t|S_{t-1})$

2. Observation Assumption: 현재 관측값은 현재 상태에만 의존한다.

   $P(O_t|S_{1:t}, O_{1:t-1}) = P(O_t | S_t)$

Probability Structures

1. Initial Probability: 처음 상태의 확률

   $P(S_1)$