다양한 켤레사전분포(Conjugate prior distribution)

문제를 통해 다양한 켤레사전분포(Conjugate prior distribution)에 대해 알아보자.

 

문제 1)

 

10분동안 정류장에 도착하는 버스 수의 분포가 지수분포를 따르고, 지수분포의 모수가 감마분포(alpha = 100, beta = 1000)를 따른다. 10분동안 12대의 버스가 도착하였다. 이때, 사후분포와 사후평균을 구하여라.

 

풀이)

 

 

▷ 사후분포는 alpha가 101, beta가 1012인 감마분포이다. 사전분포와 사후분포가 감마 분포를 따르므로 켤레사전분포라고 할 수 있다.

 

▷ 사전분포의 ESS(Effective Sample Size)는 alpha와 beta의 합이므로, 1100이다.

 

▷ 사후평균은 0.0998로 거의 변화가 없는 것으로 나타났다. 이는 ESS가 데이터의 개수에 비해 압도적으로 크기 때문에 데이터가 사후평균에서 미치는 영향이 미미한 것으로 볼 수 있다.

 

문제 2)

 

데이터가 정규분포를 따르고, 이 정규분포의 분산은 고정되어 있다. 정규분포의 평균이 정규분포를 따를 때, 평균의 사후분포와 사후평균을 구하여라.

 

풀이)

 

 

▷ 사후분포를 구하는 과정은 복잡하여 생략하였다.

 

▷ 사후분포는 정규분포를 따른다. 사전분포와 사후분포가 정규분포를 따르므로 켤레사전분포라고 할 수 있다.

 

▷ 사후평균은 데이터 평균과 사전분포 평균의 가중평균(Weighted average)이다. ESS는 가능도의 분산을 사전분포의 분산으로 나눈 것인데, 이는 납득할 만하다. 왜냐하면 사전분포의 분산이 작아질 수록 ESS가 커지기 때문이다. 이때, 사전분포의 분산이 작다는 것은 사전정보가 많다고 볼 수 있다.

 

문제 3)

 

데이터가 정규분포를 따른다. 정규분포의 평균이 정규분포를 따르고 분산이 역감마분포를 따를 때, 평균과 분산의 사후분포를 구하여라.

 

풀이)

 

 

▷ 평균과 분산의 사후분포를 구하는 과정은 복잡하여 생략하였다.

 

▷ 평균과 분산의 사전분포가 각 사후분포와 같은 분포를 따르므로 켤레사전분포라고 할 수 있다.

 

▷ 평균의 사후평균은 데이터 평균과 사전분포 평균의 가중평균이고, ESS는 w이다. w는 사전분포의 분산이 작으면 커지므로 ESS로써 납득할 만하다.

 

---

Reference:

"Bayesian Statistics: From Concept to Data Analysis," Coursera, https://www.coursera.org/learn/bayesian-statistics/.