베이지안 네트워크(Bayesian network) (3)

본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다.

 

다룰 내용은 다음과 같다.

 

1. Potential functions

2. Absorption in clique graph

3. Example of belief propagation

 

1. Potential functions

 

 

▷ Potential function은 잠재적으로 확률이 되는 함수로써, 아직 확률의 조건을 만족하기에 충분하지 않은 함수를 의미한다. 이 함수는 Belief propagation을 통해 확률로써 바뀌게 된다. 이에 대한 내용은 이후에 다루기로 하겠다.

 

▷ 위의 예는 Potential function을 설명하기 쉽게 나타낸 베이지안 네트워크로 Clique와 Separator로 나타날 수 있다. Clique는 해당 노드 간의 Fully conencted되어 있는 상태를 의미하고, Separator은 연결된 Clique가 공통으로 가지고 있는 노드를 의미한다. 즉, 이 Separator을 통해 Clique가 연결된다.

 

▷ Clique와 Separator을 psi와 phi를 통해 Potential function으로 정의하자. 베이지안 네트워크의 Full joint distribution을 구하기 위해 모든 Clique의 Potential function의 곱에 모든 Separator의 Potential function의 곱을 나눈 경우로 정의하자. 

 

▷ Clique와 Separator로 정의된 Full joint distribution을 실제 Factorization된 결과와 동일하게 되도록 Potential function을 정의하여 준다. 위의 슬라이드에서는 두 가지 방법으로 정하였는데, 첫 번째 방법은 Clique의 Potential function을 Conditional distribution으로 정하였고, 두 번째 방법은 Joint distribution으로 정하였다. Separator의 Potential function을 고려하였을 때, 두 번째 방법이 더 합리적인 것처럼 보인다. 하지만 실제로 가지고 있는 정보는 Conditional distribution에 대한 정보이고, 이를 이용하여 두 번째 방법에 적용하기는 쉽지 않다.

 

2. Absorption in clique graph

 

 

▷ 만약 A의 데이터가 추가되어 Update된다면, psi(A, B)의 Marginalization을 통해 얻어지는 phi(B)도 바뀌게 될 것이다. 바뀐 phi(B)를 통해 psi(B, C)도 바뀌게 된다. 바뀐 psi(B, C)는 다음 separator을 Update하는데 적용되며, 이러한 과정의 반복을 통해 추가된 A의 데이터에 대한 Belief propagation이 진행된다. 이 방법을 Absorption rule이라고 한다.

 

▷ Back propagation을 통해 바뀐 Clique 간의 Potential functions의 Local consistency가 성립한다는 것을 위의 슬라이드의 증명 과정을 통해 확인할 수 있다. 이는 Absorption rule의 적용이 끝난 뒤의 베이지안 네트워크의 Global consisency를 보장한다.

 

3. Example of belief propagation

 

 

▷ 위의 슬라이드의 예는 앞의 Potential functions 슬라이드의 첫 번째 방법으로 Potential function을 Set up하여 Belief propagation이 진행되는 과정을 보여준 것이다. 그 이유는 각 노드에서 얻을 수 있는 확률은 언급했디시피 Conditional distribution이기 때문이다.

 

▷ 첫 번째 예시는 정보가 주어지지 않았을 때의 P(b)를 구하는 과정이다. 1로 Set up되었던 phi(b)가 Belif propagation을 통해 P(b)로 바뀐 것을 알 수 있다. 한 번더 Belif propagation을 진행하여도, 결과는 P(b)로 똑같이 나온다. 즉, Local consistency가 성립하게 된다.

 

▷ 두 번째 예시는 a와 c에 대한 정보가 주어졌을 때, Most probable한 b의 확률을 구하는 과정이다. 첫 번째 예와 다른 점은 새로운 Potential function인 delta를 정의하여 구한다는 것이다. 두 번의 Belif propagation을 통해 phi(b)가 수렴하는 것을 확인할 수 있고, phi(b)는 모두 Conditional distribution으로써 모두 쉽게 구할 수 있는 정보들로 이루어져 있다. 따라서 보다 효율적으로 계산을 할 수 있다.

 

---

Reference:

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 8 Potential Function and Clique Graph," AAILab Kaist, www.youtube.com/watch?v=qLNasCCwb7w.

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 9 Potential Function and Clique Graph," AAILab Kaist, www.youtube.com/watch?v=_AAvi6QuE64.