사전예측분포와 사후예측분포(Prior and posterior predictive distribution)

사전예측분포(Prior predictive distribution)와 사후예측분포(Posterior predictive distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다.

 

1. 사전예측분포와 사후예측분포의 정의

2. 사전예측분포와 사후예측분포의 예제

 

1. 사전예측분포와 사후예측분포의 정의

 

 

▷ 사전예측분포는 베이즈 정리를 이용하여 구하면, 사전분포와 가능도 함수의 곱을 적분한 형태로 정의된다. 즉, theta에 대한 가능도 함수의 평균이라 할 수 있다.

 

▷ 사후예측분포는 베이즈 정리를 이용하여 구할 수 있다. 이때, 일반적으로  관측 결과인 x와 확률 변수 x tilde의 관계는 독립이라 가정하기 때문에, theta의 사후분포와 가능도 함수의 곱을 적분한 형태로 정의된다. theta의 사후 분포가 사전 분포라고 생각하면 사전예측분포를 구하는 과정과 동일하다.

 

▷ 사전예측분포와 사후예측분포의 차이는 어떤 사전분포를 쓰는가에 따라 발생한다. 이는 정보가 추가됨에 따라 사전분포를 업데이트 하여 사후분포를 구하고, 이 사후분포는 다음 예측의 사전분포로 활용되기 때문이다. 이 과정을 통해 추가된 정보를 실시간으로 반영할 수 있는 것이 베이지안 접근의 특징이다.

 

2. 사전예측분포와 사후예측분포의 예제

 

문제)

 

시행횟수가 10인 이항분포를 따르는 확률 변수 X가 있다. 이항분포의 모수가 균일분포을 따를 때, 확률 변수 X의 사전예측분포를 구하여라.

 

풀이)

 

 

▷ 사전예측분포는 모든 경우에서 1/11로 확률이 같은 것으로 나타났다.

 

문제)

 

동전을 던졌을 때, 앞면이 나올 확률이 균일분포를 따른다. 동전을 던졌더니 앞면이 나왔을 때, 이 결과를 이용하여 사후예측분포를 구하여라. 이때, 각 시행은 독립적이다.

 

풀이)

 

 

▷ 동전의 앞면이 나온 결과가 사후예측분포에 반영되어 1/2(사전예측분포에서의 동전이 앞면이 나올 확률)에서 2/3로 증가한 것을 확인할 수 있다.

 

---

Reference:

"Prior & Posterior Predictive Distributions," DH.Kim, https://donghwa-kim.github.io/Pred_-baye.html.

"Bayesian Statistics: From Concept to Data Analysis," Coursera, https://www.coursera.org/learn/bayesian-statistics/.