베이지안 네트워크(Bayesian network) (1)

본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다.

 

다룰 내용은 다음과 같다.

 

1. Conditional vs. Marginal independence

2. Bayesian network

3. Interpretation of Bayesian network

4. Typical local structures

5. Bayes ball algorithm

 

1. Conditional vs. Marginal independence

 

 

▷ Conditional independence와 Marginal independence는 둘 다 독립을 의미하지만, 약간의 차이가 있다. Marginal independence는 P(A|B) = P(A)인 경우이고, Conditional independence는 P(A|B,C) = P(A|B)인 경우이다.

 

▶ Conditional independence는 Full joint probability를 구할 때, Factorization에 사용되기 때문에 상당히 중요하다.

 

▷ Marginal independence가 적용되는 예를 알아보자. 중령이 두 장교 A, B에게 명령을 내리는 경우에 대해 생각해보자. 중령의 명령을 알지 못할 때, 장교 A와 장교 B는 서로 독립적이지 않다. 왜냐하면 한 장교의 행동이 다른 장교에게 정보를 줄 수 있기 때문이다. 하지만 중령의 명령을 아는 경우에는 얘기가 달라진다. 한 장교가 어떤 행동을 취하여도 중령의 명령을 이미 알고 있기 때문에 다른 장교에게 어떠한 정보도 주지 못한다. 이 관계를 확률로 나타내면 다음과 같다.

 

P(장교 A의 행동|장교 B의 행동, 중령의 명령) = P(장교 A의 행동|중령의 명령)

 

2. Bayesian network

 

 

▷ 베이지안 네트워크는 그래프 표기(Graphical notation)를 통해 나타낼 수 있고, 그래프 표기를 통해 확률 변수와 변수간의 관계에 따른 Conditional independence를 나타낸다. 이 표기는 Full joint distribution을 얻을 수 있도록 간결하게 나타낸 것이다.

 

▷ 베이지안 네트워크는 한 방향으로 확률 변수간의 관계를 한 방향으로 나타내고, 비순환(Acyclic) 구조를 가지고 있다.

 

▷ 각 노드의 직접 영향을 주는 것은 부모 노드밖에 없다. 간접 영향을 주는 경우도 있다. 예를 들어, Y의 부모 노드를 Z라 하고, Z의 링크(Link)가 Y를 통해 X1 또는 X2에 간접 영향을 주게 된다.

 

3. 베이지안 네트워크의 해석

 

 

▷ 네트워크의 토폴로지(Topology)는 일반 상식을 이용하거나 해당 분야의 전문가의 의견을 통하여 구성한다.

 

▷ 위의 네트워크 토폴로지를 해석하면 다음과 같다.

 

1. Weather은 다른 변수와 연결되어 있지 않기 때문에 다른 변수에게 아무런 영향을 주지 못한다. 즉, 다른 변수와 독립이다.

2. Toothache와 Stench는 Cavity가 주어질 때, Conditionally independent하다. 즉, Cavity에 대한 정보를 얻었을 때, Tootache와 Stench는 서로 독립이다.

3. Cavity는 Toothache와 Strench에 직접 영향을 준다.

 

 

▷ 위의 슬라이드에 나타난 베이지안 토폴로지로부터 아래의 표와 같이 CPD(Conditional Probability Distribution)를 만들 수 있다. CPD를 이용하여 다양한 상황에 대한 확률을 구할 수 있다. 위의 베이지안 토폴로지를 이용한 예를 들면, 알람(Alarm)이 울렸을 때, 집에 도둑(Burglary)이 들었을 확률을 구할 수 있다.

 

▷ 베에지안 네트워크의 구성요소는 구조적인 구성요소와 수치적인 구성요소로 나눌 수 있다. 구조적인 구성요소는 베이지안 토폴로지의 형태로 각 변수간의 관계에 대한 사전정보 또는 데이터를 통한 학습하는 방법을 이용하여 구성한다. 수치적인 구성요소는 각 노드에서의 CPD를 의미한다.

 

▷ 다음과 같은 예를 생각해 보자. 메리의 전화(MarryCalls)가 왔을 때, 집에 도둑이 들었을 확률을 어떻게 구할까? 메리의 전화에 관한 CPD만을 이용해서는 구할 수 없다. 이런 경우에는 베이지안 네트워크의 구조적인 요소와 수치적인 요소 둘 다 이용하여 구할 수 있다.

 

4. Typical local structures

 

베이지안 네트워크를 구성하는 3가지의 대표적인 구조에 대해 알아보자.

 

 

 

▷ Common parent는 두 개의 자식 노드가 하나의 부모 노드를 가지는 경우이다. 이때, 부모 노드의 정보를 알게 되면 두 자식 노드는 서로 독립이다.

 

▷ Cascading은 세 개의 노드가 순차적으로 연결된 경우이다. 이때, 가운데에 위치한 노드의 정보를 알게 되면 양 끝의 노드는 서로 독립이다. 위의 슬라이드의 예에 적용하면, Alarm에 대한 정보가 주어질 때, Buglary의 정보는 MarryCalls에 아무런 정보를 주지 않는다. 즉, Buglary와 MarryCalss는 독립이게 된다.

 

▷ V-Structure은 하나의 노드가 두 개의 부모 노드를 가지는 경우이다. 이 경우는 앞의 두 구조와는 다르게 자식 노드의 정보를 알면 두 개의 부모 노드가 종속이게 된다. 위의 슬라이드의 예를 들어 설명하면, Alarm이 울렸을 때, Earthquake가 발생하지 않았다면, 이는 Alarm이 발생한 원인이 Earthquake에 있지 않다는 추가 정보를 Buglary에 제공하게 된다. 따라서 더이상 Buglary와 Earthquake가 독립이지 않게 된다.

 

5. Bayes ball algorithm

 

 

▷ Bayes ball algorithm은 가상의 공을 굴려 베이즈 네트워크에서 굴러가는지 안 굴러가는지에 따라 노드간의 독립을 판단하기 위한 알고리즘이다.

 

▷ 네트워크의 구조가 Common parent 또는 Casacading에서는 가운데 노드에서 정보가 주어지지 않으면 가상의 공이 굴러가고, V-Structure에서는 반대로 가운데 노드의 정보가 주어져야 공이 굴러가게 된다. 공이 굴러가는 경로에 있는 노드의 관계는 종속으로 판단할 수 있다.

 

 

▷ 위 슬라이드의 4개의 문제를 Bayes ball algorithm을 이용하여 풀면 답은 참, 참, 참, 거짓이다.

 

▷ 특정 노드에서 Blanket에 해당하는 노드의 정보가 제공되는 경우, 특정 노드와 Blanket에 포함되지 않는 노드의 관계는 독립이다. 이 Blanket을 Markov blanket이라 한다.

 

▷ Blanket은 특정 노드의 부모 노드와 자식 노드 그리고 자식 노드의 부모 노드로 구성된다. 이때, 자식 노드의 부모 노드가 필요한 이유는 V-Structure에 따른 정보의 전달을 막기 위함이다.

 

▷ D-Seperation은 특정 노드에 대한 정보가 주어졌을 때, 시작 노드에서 Bayes ball algorithm을 이용하여 공을 굴려서 목적 노드에 도달하지 못하는 경우를 의미한다.

 

---

Reference:

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 2 Probability Theorems," AAILab Kaist, www.youtube.com/watch?v=mnUcZbT5E28.

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 3 Interpretation of Bayesian Network," AAILab Kaist, www.youtube.com/watch?v=N2rx_OmDeCk.

"(기계 학습, Machine Learning) Week 7 Bayesian Network | Lecture 4 Bayes Ball Algorithm," AAILab Kaist, www.youtube.com/watch?v=ZMG_LxhTzzk.