사후평균(Posterior mean)과 ESS(Effective Sample Size)

문제를 통해 사후평균(Posterior mean)과 ESS(Effective Sample Size)에 대해 알아보자.

 

문제 1)

 

사전분포가 베타분포를 따르고 가능도 함수가 베르누이 분포를 따를 때, 사후분포의 평균과 ESS를 구하여라.

 

풀이)

 

 

▷ 사후평균은 사전분포의 평균과 데이터 평균의 가중평균(Weighted average)으로 나타낼 수 있다. 데이터 가중치의 분자는 표본크기, 사전분포 가중치의 분자는 alpha와 beta의 합이다. 이때, ESS는 사전평균 가중치의 분자인 alpha와 beta의 합이다. 즉, ESS란 사전평균이 사후평균에 반영되는 비중을 샘플 개수로 나타낸 것이다.

 

▶ ESS가 커지면 사후평균에서 사전평균의 비중이 커지고 데이터 평균의 비중이 줄어든다. 즉, 사전정보가 사후분포에 미치는 영향이 더 커진다고 볼 수 있다.

 

문제 2)

 

칙촉 과자 1개에 박혀 있는 초콜렛 개수가 포아송 분포를 따르고, 포아송 분포의 모수가 감마분포를 따른다고 하자. n개의 칙촉 과자로부터 초콜렛 개수에 대한 정보를 얻었다. 이때, 칙촉 과자 1개에 박혀 있는 초콜렛 개수의 사후평균을 구하여라.

 

풀이)

 

 

▷ 이전 문제의 결과와 같이 사후평균은 사전분포 평균과 데이터 평균의 가중평균인 것을 알 수 있다.

 

▷ ESS는 beta와 같다.

 

▶ 사전분포에 모수를 어떻게 설정하느냐에 따라 ESS가 결정되게 된다.

 

문제 2-1)

 

[문제 2]에서 사전분포의 모수를 정하는 방법에 대해 논하여라.

 

풀이)

 

 

▷ 첫 번째 방법은 사전평균을 가정하여 모수를 정하는 방법이다. 이때, (a)는 사전분산을 추가로 가정함으로써, (b)는 ESS를 추가로 가정함으로써 두 모수 alpha와 beta를 구할 수 있다.

 

▷ 두 번째 방법은 엄청 작은 epsilon을 모수로 정하여 사후분포에 영향을 거의 주지 않는 모호 사전분포(Vague prior distribution)를 사용하는 것이다. 이 사전분포는 분산이 엄청 크므로 넓게 퍼진 형태를 띄고있으며, 사전평균은 1이지만 ESS가 엄청 작아 사후평균에 거의 영향을 주지 못한다.

 

---

Reference:

"Bayesian Statistics: From Concept to Data Analysis," Coursera, https://www.coursera.org/learn/bayesian-statistics/.