빈도주의 추론(Frequentist inference)

빈도주의(Frequentist) 관점의 추론(Inference)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다.

 

1. 가능도(Likelihood)와 MLE(Maximum Likelihood Estimation)

2. 신뢰구간(Confidence interval)

 

1. 가능도와 MLE

 

베르누이 분포의 가능도 함수를 구해보자.

 

 

▷ P(X tilde)와 가능도 함수인 L(theta | X tilde)의 결과는 같지만, 가능도 함수는 y에 대한 함수가 아닌 theta에 대한 함수라는 점에서 다르다. 즉, 가능도란 모수에 대한 함수로써 모수가 주어졌을 때, 관측값에 대해 부여하는 확률을 의미한다.

 

빈도주의 관점에서 모수를 추정하기 위한 대표적인 방법으로는 MLE가 있다. MLE를 통해 베르누이 분포의 모수를 추정해보자.

 

 

▷ MLE는 가능도 함수의 결과를 가장 크게 만드는 모수를 추정한다. 즉, 관측값에 대해 가장 가능성이 높아지도록 하는 모수를 찾는 것이라고 볼 수 있다.

 

▷ MLE를 구할 때, 가능도 함수를 로그로 취하는 경우가 많다. 왜냐하면 로그를 취함으로써 각 항의 곱이 덧셈으로 바뀌어 연산이 편리해지기 때문이다. 로그는 단조 증가하기 때문에 MLE의 결과가 변하지 않는다.

 

▷ 가능도 함수에 로그를 취한 후, 미분의 결과가 0이 되도록 하는 모수를 찾음으로써 MLE를 구하였다. 추정량은 전체 시행 중 성공횟수를 전체 시행횟수로 나눈 것으로 우리의 직관과 일치한다.

 

2. 신뢰구간

 

문제를 통해 신뢰구간을 구해보고, 한계점에 대해 알아보자.

 

문제)

 

동전을 100번 던져 동전의 앞면과 뒷면이 나온 횟수를 세었다. 앞면은 44회, 뒷면은 56회가 나왔다. 각 시행의 결과가 베르누이 분포를 따를 때, 이 동전이 공평한 동전(앞/뒷면이 나올 확률이 같은 동전)이라 할 수 있을까?

 

풀이)

 

 

▷ Xi는 동전을 던졌을 때, 앞면이 나오면 1, 뒷면이 나오면 0으로 정한 후, MLE를 통해 p의 추정량을 구하였다.

 

▷ p hat은 CLT(Central Limit Theorem)에 따라 정규 분포에 근사한다.

 

▷ p의 95% 신뢰 구간은 (0.343, 0.537)인 것으로 나타났다. 0.5가 신뢰구간에 포함되어 있으므로 공평한 동전이라 판단하는 것이 합리적이다.

 

▶ 그렇다면 (0.343, 0.537)에 확률 p가 포함될 확률은 얼마일까? 빈도주의 관점에서는 1 또는 0이라고 할 수밖에 없다. 왜냐하면 확률 p는 모수가 아닌 고정된 값이기 때문이다. 따라서 빈도주의 관점의 해석은 우리의 직관과 맞지 않다.

 

---

Reference:

“Bayesian Statistics: From Concept to Data Analysis,” Coursera, https://www.coursera.org/learn/bayesian-statistics/.