무정보 사전분포(Non-informative prior distribution)

무정보 사전분포(Non-informative prior distribution)에 알아볼 것이다.

 

관심있는 모수에 대한 정보를 주고 싶지 않다면, 모수의 모든 가능한 값들에 동일한 가중치를 부여하는 것이 합리적일 것이다. 따라서 사전분포로 균등분포를 사용할 것이다. 이를 적용하여 다음의 상황에 대해 생각해보자.

 

 

▷ 균등분포는 베타분포의 특이한 경우이다. 이를 이용하여, ESS(Effective Sample Size)를 구할 수 있다. 즉, 2개의 샘플만큼 사후분포에 영향을 미치므로 완전한 무정보 사전분포라고 할 수 없다.

 

데이터에만 종속적인(Dependent) 사후분포를 추정하기 위해 ESS를 줄여보자.

 

 

▷ 사전분포의 두 모수를 0으로 정하여 ESS를 0으로 만들었다.

 

ESS가 0인 무정보 사전분포를 사용하여 사후분포와 사후평균을 구해보자.

 

 

▷ Beta(0, 0)은 부적절 사전분포이다. 왜냐하면 전체 확률의 합이 1이 아니기 때문이다. 하지만 이를 사용하여 사후분포를 구하면, 위의 결과와 같이 적절한 베타분포가 나오게 된다. 즉, 부적절한 사전분포를 사용하여도 적절한 사전분포를 구할 수 있다는 것을 알 수 있다.

 

▷ 사후분포의 평균과 MLE가 같다는 것을 알 수 있다. 즉, 무정보 사전분포를 사용하였을 때, 빈도주의 접근 방식의 결과가 같게된다. 하지만 theta에 대한 신용구간을 구할 수 있다는 점에서 차이가 있다.

 

부적절 사전분포의 다른 예를 보자.

 

▷ 위의 사전분포는 부적절하다. 왜냐하면 확률밀도함수가 1에 비례하여 전체 확률의 합이 1이 아니기 때문이다. 하지만 이를 사용하여 구하면, 적절한 사후분포를 얻을 수 있다.

 

▷ 앞의 예와 같이 사후분포의 평균과 MLE와 같다는 것을 알 수 있다.

 

---

Reference:

"Bayesian Statistics: From Concept to Data Analysis," Coursera, https://www.coursera.org/learn/bayesian-statistics/.