Overview

베이즈 정리는 다양한 인공지능 모델에서 자주 사용되는 정리이다. $P(A|B)$에 대한 정보로부터 $P(B|A)$를 구해야 할 때 사용한다. 대표적인 머신러닝 모델로 나이브 베이즈 분류기가 있다.

Partition

Partition(분할)은 주어진 집합을 서로 겹치지 않는 여러 개의 부분 집합으로 나누는 것이다.

$\displaystyle A = AB_1 \cup AB_2 \cup … = \bigcup_{i=1}^\infin AB_i$

조건

1. 부분 집합 $B_i$와 $B_j$ 는 disjoint이다. (단, $i≠j$)
   • $B_i B_j = \varnothing$
2. 분할된 부분 집합들의 합집합은 원래의 집합과 동일하다.
   • $\displaystyle \bigcup_{i=1}^\infin B_i = \Omega$

Total Probability Theorem

Total Probability Theorem(전체 확률의 법칙, 전확률 정리)은 사건 $A$가 상호 배반사건 $B_1,…,B_n$으로 나뉠 수 있을 때, 사건 $A$의 전체 확률을 각 $B_i$에서 $A$가 일어날 조건부 확률과 $B_i$의 확률을 이용해 구하는 방법이다.

• 베이즈 정리의 근간이 되는 개념이다.

• $B_1,…,B_n$을 $\Omega$의 partition라고 할 때, 전체 확률의 법칙에 따라 $P(A)$는 다음과 같다.

  $\begin{aligned} P(A) &= P(\bigcup AB_i) \\ &= \sum P(AB_i) \\ &= \sum P(A|B_i)P(B_i) \end{aligned}$

Bayes Rule

Bayes Rule(베이즈 정리, Bayes Theorem)은 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리이다. 즉, 사전 확률로부터 사후 확률을 구할 수 있다.

$\displaystyle P(A|B) = \frac {P(AB)} {P(B)} = \frac {P(B|A)P(A)}{P(B)} = \frac {P(B|A)P(A)} {P(B|A)P(A) + P(B|A^c)P(A^c)}$

• 이때 $A$는 불확실성을 계산해야 하는 대상이며, $B$는 관측하여 값을 알아낼 수 있는 대상으로 생각한다면, $A$의 확률은 $B$가 관측된 후 $P(A)$에서 $P(A|B)$로 변화하며, 베이즈 정리는 이 때의 변화를 계산하는 방법을 제공한다.
• 일반화

Prior Probability

Prior Probability(사전 확률)는 어떤 사건이 발생할 확률을, 추가적인 정보나 관측이 이루어지기 전에 알고 있는 확률이다. 즉, 초기 상태에서의 확률이다.