베이지안 네트워크(Bayesian network) (2)

본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다.

 

다룰 내용은 다음과 같다.

 

1. Factorization of Bayesian network

2. Conditional probability

3. Most probable assignment

4. Marginalization and elimination

5. Variable elimination

 

1. Factorization of Bayesian network

 

 

▷ 베이지안 네트워크의 Factorization은 Full joint distribution을 구할 때, 개별 노드의 Conditional probability의 Condition에 포함되는 노드를 각 노드의 부모 노드만을 고려함으로써 계산에 사용되는 파라미터를 줄여주는 역할을 한다.

 

2. Conditional probability

 

 

▷ 위의 베이지안 네트워크로부터 도둑(Buglary)이 들고, 메리의 전화(MarryCalls)가 왔을 때, 알람이 울렸을 확률을 어떻게 구할 수 있을까? 이럴 경우에는 Conditional probability로부터 구할 수 있다.

 

▷ Hidden variable X를 관심 대상인 Y와 관심 대상이 아닌 Z로 나눌 수 있다. 이떄 Evidence가 주어질 때, Conditional probability를 구하기 위해서는 위의 General form의 유도과정의 마지막 식과 같이 Full joint distribution의 형태로부터 구할 수 있도록  식을 만들어 주어 계산하여야 한다. 즉, Full joint distribution의 형태로 만든 식에서 Marginalize out을 통해 Conditional probability를 구할 수 있다.

 

3. Most probable assignment

 

 

▷ 베이지안 네트워크를 이용하면 Evidence가 주어졌을 때, 가장 일어날 만한 사건을 구할 수 있다. 이는 앞의 Conditional probability로부터 각 사건에 대한 확률을 계산하여 가장 큰 사건을 구함으로써 답할 수 있다.

 

▷ Most probable assignment를 통해 두 가지 응용이 가능한데, 첫 번째 방법은 예측이다. Evidence가 주어졌을 때, 가장 높은 확률을 가진 사건을 예측 결과로 정하는 것이다. 두 번째 방법은 진단이다. 결과가 주어졌을 때, 가장 일어날 만한 원인을 구함으로써 결과에 대한 진단을 할 수 있다.

 

▶ 위의 추론 문제는 병원에서의 환자의 정보를 이용한 진단 또는 공장 설비의 데이터를 통해 고장의 원인을 밝혀내는 등에 활용될 수 있다.

 

4. Marginalization and elimination

 

 

▷ 위의 베이지안 네트워크에서 P(a=true, b=true, mc=true)를 계산은 JC와 MC에 대하여 Marginalize out을 통해 할 수 있다. 이때, 각 변수의 Conditional probability로 바꾸어 바로 계산하는 것보다 속도를 더 빠르게 할 수 있다. 그것은 Marginalize out의 관심 변수가 포함되지 않은 Probability를 Move around를 통해 계산량을 줄이는 것이다. 즉, 슬라이드 아래의 식과 같이 만들어 주는 것이다. 이는 관심 변수가 포함되지 않은 Probability가 각 변수에 대한 Summation 과정에 포함되지 않기 때문에 전체 곱의 연산량을 줄어들어 더 빠르게 계산할 수 있다.

 

5. Variable elimination

 

 

▷ Variable elimination은 서로 다른 확률이 같은 변수에 종속되어 있고, 해당 변수에 대하여 Marginalize out을 수행할 때, 두 확률의 테이블을 곱하여 하나의 테이블로 만들어주는 방법이다. 이를 통해 계산량을 줄일 수 있다.

 

 

▷ 위의 슬라이드는 앞의 Variable elimination을 적용하여 각 변수에 대한 Summation이 끝날 때마다 테이블을 합쳐서 계산량을 줄여가는 과정에 대한 내용이다. 수식과 테이블을 통해 이를 확인할 수 있다.

 

---

Reference:

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 5 Factorization of Bayesian networks," AAILab Kaist, www.youtube.com/watch?v=uM652fjtqMA.

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 6 Inference Question on B. Networks," AAILab Kaist, www.youtube.com/watch?v=frw8rxhfv8M.

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 7 Variable Elimination," AAILab Kaist, www.youtube.com/watch?v=pZUwFRdMb0o.