몬테카를로 추정(Monte-carlo estimation)

문제와 예시를 통해 몬테카를로 추정(Monte-carlo estimation)에 대해 알아볼 것이다.

 

문제)

 

감마분포(alpha = 2, beta = 1/3)의 평균을 수식적인 계산과 몬테카를로 추정을 통해 구하고 결과를 비교하여라.

 

풀이)

 

 

In:

alpha = 2
beta = 1/3

m = 10^8

theta_star <- rgamma(m, alpha, beta)

mean(theta_star)

 

Out:

[1] 5.999948

 

▷ 위의 코드는 R을 이용하여 평균에 대한 몬테카를로 추정의 결과이다.

 

▷ 수식적인 계산과 몬테카를로 추정을 통한 결과가 거의 동일한 것을 확인할 수 있다.

 

▷ 몬테카를로 추정을 하기 위해 감마분포로부터 데이터를 생성한 뒤, 데이터의 평균을 통해 감마분포의 평균을 구하였다.

 

▷ 몬테카를로 추정을 통한 평균이 중심극한정리(Central Limit Theorem)에 따라 정규분포를 따른다는 것을 알 수 있다. 이로부터 추청치의 신뢰구간을 구할 수 있다.

 

▶ 위의 경우는 비교적 수식적으로 계산하기 쉬운 형태이기 때문에, 적분을 통해 평균을 구할 수 있다. 하지만 적분이 어려운 경우에는 수식적으로 계산하기는 쉽지 않다. 따라서 이런 경우에는 대안으로 몬테카를로 추정을 통해 구할 수 있다.

 

▶ 몬테카를로 추정은 평균 이외에도 분산, 사건의 발생 확률, 백분위수 등을 구하는데 사용할 수 있다.

 

위의 결과에서 보다시피 아래의 식이 성립한다는 것을 알 수 있다.

 

 

다음의 예시에서 이 식을 적용하여 보자.

 

예시 1)

 

 

▷ 위의 식을 적용하여, 즉, 몬테카를로 추정을 통해 theta가 5보다 작을 확률을 계산할 수 있다.

 

▷ 위의 방법을 응용하면 백분위수에 대한 계산도 가능하다.

 

예시 2)

 

 

▷ 위의 예시는 계층적으로 나타나 있는 모델의 phi와 y의 결합확률(Joint probability)를 구하기 위해 몬테카를로 추정방법을 나타낸 것이다. 데이터를 생성한 뒤부터는 앞의 예와 비슷하기 때문에 과정을 생략하였다.

 

▷ 위의 모델로부터 y 또는 phi에 대한 확률을 구하기 위해서는 주변화(Marginalization)를 해야하는데, 수치적으로 계산하기 위해서는 적분을 해야 한다. 하지만 몬테카를로 추정을 이용하게 되면, 시뮬레이션을 통해 생성된 (y, phi)의 주변화하고자 하는 변수만을 이용하여 추정하면 된다. 즉, 결합된 데이터가 생성되어 있다면 주변화에 대한 추정을 쉽게 할 수 있다.

 

---

Reference:

"Bayesian Statistics: From Concept to Data AnalysisTechniques and Models," Coursera, https://www.coursera.org/learn/bayesian-statistics/.