Overview

그래프 구조를 통해 두 노드 간 조건부 독립성을 직관적으로 알 수 있다. D-separation은 그래프에서 독립성을 찾아내는 방법이고, I-map은 그렇게 찾아낸 독립성과 실제 확률분포의 독립성 사이의 관계를 정의하는 개념이다.

Conditional Independence

Conditional Independence(조건부 독립)는 두 사건이 평소에는 서로 독립이 아니지만, 어떤 특정한 조건(사건)이 주어졌을 때 서로 독립처럼 작용하는 상태를 말한다.

$P(A,B|C) = P(A|C)P(B|C)$

또는

$P(A|B,C) = P(A|C)$

• $C$라는 정보가 이미 주어졌다면, $B$가 일어나든 말든 $A$의 확률에는 아무런 추가 영향을 주지 않는다. 즉, $C$를 알고 있으면 $A$와 $B$는 독립이다. 모르면 독립이 아닐 수 있다.

D-separation

D-separation(방향성 분리)은 Directed Graphical Model에서 두 변수 사이의 조건부 독립성을 그래프 구조만 보고 판단하는 방법이다.

• 어떤 변수 $Y$를 관찰했을 때, $X$와 $Z$ 사이의 모든 경로가 차단되면 $X$와 $Z$는 $Y$에 대해 조건부 독립이다.
  • Cascade와 Common Parent는 $Y$를 관찰하면 경로가 차단된다.
  • V-structure는 $Y$를 관찰하면 막혔던 경로가 열린다.

Chain/Cascade

• 그래프 표현

  $X→Y→Z$

• 수학적 표현

  $X \mathrlap{\,/}{\perp} Z$

  $X \perp Z | Y$

Fork/Common Parent

• 그래프 표현

  $X←Y→Z$

• 수학적 표현

  $X \mathrlap{\,/}{\perp} Z$

  $X \perp Z | Y$

Collider/V-Structure

• 그래프 표현

  $X→Y←Z$

• 수학적 표현

  $X \perp Z$

  $X \mathrlap{\,/}{\perp} Z | Y$

• 예제

I-map

I-map(Independence Map)은 그래프 $G$에서 독립이라고 판정된 것이 확률분포 $P$에서도 실제로 독립임을 보장하는 개념이다.