본문 바로가기

Statistics/Bayesian Statistics

(23)

몬테카를로 추정(Monte-carlo estimation) 문제와 예시를 통해 몬테카를로 추정(Monte-carlo estimation)에 대해 알아볼 것이다. 문제) 감마분포(alpha = 2, beta = 1/3)의 평균을 수식적인 계산과 몬테카를로 추정을 통해 구하고 결과를 비교하여라. 풀이) In: alpha = 2 beta = 1/3 m = 10^8 theta_star

그래프 표현(Graphical representation) 예시를 통해 베이지안 모델을 나타내기 위한 그래프 표현(Graphical representation) 방법에 대해 알아볼 것이다. 예시 1) 가능도 함수가 정규분포를 따르고, 정규분포의 두 모수가 위와 같이 사전분포를 따를 때, 이를 그래프로 표현해보자. ▷ 동그라미는 노드(Node)라고 부른다. 노드는 확률변수(Random variable)를 의미한다. 사전분포를 가지고 있는 mu와 sigma^2를 노드로 정하였다. ▷ 위의 그림에서 mu와 sigma^2 밑에 y1, y2, ... , yn도 확률변수이지만, 관측할 수 있기 때문에 이중 동그라미로 나타내었다. ▷ 각 노드별 종속(Dependence) 관계를 나타내기 화살표(Arrow)를 이용하였다. 화살이 가리키는 노드는 화살이 나오는 노드로부터 종속되..

제프리 사전분포(Jeffrey's prior) 제프리 사전분포(Jeffrey's prior)에 대해 알아볼 것이다. 다룰 내용으로는 다음과 같다. 1. 제프리 사전분포의 정의 2. 제프리 사전분포의 예제 1. 제프리 사전분포의 정의 단변수 theta의 제프리 사전분포(Jeffrey's prior)는 다음과 같이 정의된다. 여기서 I(theta)는 기대 피셔 정보값(Expected Fisher information)을 나타내며 다음과 같이 계산된다. ▷ 제프리 사전분포의 가장 큰 특징은 불변성(Invariance)을 가지고 있다는 것이다. 즉, 제프리 사전분포를 사용할 경우, 모수의 사후분포와 모수의 함수에 대한 사후분포가 있을 때, 변수변환을 통해 같음을 보일 수 있다. 2. 제프리 사전분포의 예제 문제) 가능도 함수가 지수분포일 때, 제프리 사전분..

무정보 사전분포(Non-informative prior distribution) 무정보 사전분포(Non-informative prior distribution)에 알아볼 것이다. 관심있는 모수에 대한 정보를 주고 싶지 않다면, 모수의 모든 가능한 값들에 동일한 가중치를 부여하는 것이 합리적일 것이다. 따라서 사전분포로 균등분포를 사용할 것이다. 이를 적용하여 다음의 상황에 대해 생각해보자. ▷ 균등분포는 베타분포의 특이한 경우이다. 이를 이용하여, ESS(Effective Sample Size)를 구할 수 있다. 즉, 2개의 샘플만큼 사후분포에 영향을 미치므로 완전한 무정보 사전분포라고 할 수 없다. 데이터에만 종속적인(Dependent) 사후분포를 추정하기 위해 ESS를 줄여보자. ▷ 사전분포의 두 모수를 0으로 정하여 ESS를 0으로 만들었다. ESS가 0인 무정보 사전분포를 사..

다양한 켤레사전분포(Conjugate prior distribution) 문제를 통해 다양한 켤레사전분포(Conjugate prior distribution)에 대해 알아보자. 문제 1) 10분동안 정류장에 도착하는 버스 수의 분포가 지수분포를 따르고, 지수분포의 모수가 감마분포(alpha = 100, beta = 1000)를 따른다. 10분동안 12대의 버스가 도착하였다. 이때, 사후분포와 사후평균을 구하여라. 풀이) ▷ 사후분포는 alpha가 101, beta가 1012인 감마분포이다. 사전분포와 사후분포가 감마 분포를 따르므로 켤레사전분포라고 할 수 있다. ▷ 사전분포의 ESS(Effective Sample Size)는 alpha와 beta의 합이므로, 1100이다. ▷ 사후평균은 0.0998로 거의 변화가 없는 것으로 나타났다. 이는 ESS가 데이터의 개수에 비해 압도..

사후평균(Posterior mean)과 ESS(Effective Sample Size) 문제를 통해 사후평균(Posterior mean)과 ESS(Effective Sample Size)에 대해 알아보자. 문제 1) 사전분포가 베타분포를 따르고 가능도 함수가 베르누이 분포를 따를 때, 사후분포의 평균과 ESS를 구하여라. 풀이) ▷ 사후평균은 사전분포의 평균과 데이터 평균의 가중평균(Weighted average)으로 나타낼 수 있다. 데이터 가중치의 분자는 표본크기, 사전분포 가중치의 분자는 alpha와 beta의 합이다. 이때, ESS는 사전평균 가중치의 분자인 alpha와 beta의 합이다. 즉, ESS란 사전평균이 사후평균에 반영되는 비중을 샘플 개수로 나타낸 것이다. ▶ ESS가 커지면 사후평균에서 사전평균의 비중이 커지고 데이터 평균의 비중이 줄어든다. 즉, 사전정보가 사후분포에..

켤레사전분포(Conjugate prior distribution) 켤레사전분포(Conjugate prior distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 켤레사전분포의 정의 2. 켤레사전분포의 예제 1. 켤레사전분포의 정의 켤레사전분포의 정의는 다음과 같다. ▷ 즉, 사전분포(Prior distribution)와 사후분포(Posterior distribution)가 동일한 분포족에 속하면 사전분포를 켤레사전분포라고 한다. ▷ 켤레사전분포를 사용하는 이유는 사후분포의 계산이 편리해지기 때문이다. 대표적 켤레사전분포는 다음과 같다. 2. 켤레사전분포의 예제 문제) 사전분포가 베타분포을 따르고 가능도 함수가 베르누이 분포를 따를 때, 이 사전분포가 켤레사전분포임을 보여라. 풀이) ▷ 위의 결과를 통해 사전분포와 사후분포가 베타분포를 따르는 ..

사전예측분포와 사후예측분포(Prior and posterior predictive distribution) 사전예측분포(Prior predictive distribution)와 사후예측분포(Posterior predictive distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 사전예측분포와 사후예측분포의 정의 2. 사전예측분포와 사후예측분포의 예제 1. 사전예측분포와 사후예측분포의 정의 ▷ 사전예측분포는 베이즈 정리를 이용하여 구하면, 사전분포와 가능도 함수의 곱을 적분한 형태로 정의된다. 즉, theta에 대한 가능도 함수의 평균이라 할 수 있다. ▷ 사후예측분포는 베이즈 정리를 이용하여 구할 수 있다. 이때, 일반적으로 관측 결과인 x와 확률 변수 x tilde의 관계는 독립이라 가정하기 때문에, theta의 사후분포와 가능도 함수의 곱을 적분한 형태로 정의된다. theta의..

신용구간(Credible interval) 신용구간(Credible interval)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 신용구간의 정의 2. 신용구간의 예제 1. 신용구간의 정의 신용구간의 정의는 다음과 같다. ▷ 빈도주의(Frequentist) 관점에서는 모수가 고정되어 있기 때문에 신뢰구간(Confidence interval)에 대한 해석이 우리의 직관과 맞지 않는 문제가 발생한다. 신용구간은 모수에 대한 사후분포를 가정하고 있기 때문에 신용구간의 해석이 우리의 직관과 일치한다. 즉, 모수가 해당 신용구간에 대해 존재할 확률에 대한 해석이 가능하다. 2. 신용구간의 예제 문제) 동전의 앞면이 나올 확률이 균일분포를 따르고, 가능도 함수는 베르누이 분포을 따른다. 이 때, 동전을 던졌더니 앞면이 나왔다. 이 결과를 이용하여..

빈도주의 추론(Frequentist inference) 빈도주의(Frequentist) 관점의 추론(Inference)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 가능도(Likelihood)와 MLE(Maximum Likelihood Estimation) 2. 신뢰구간(Confidence interval) 1. 가능도와 MLE 베르누이 분포의 가능도 함수를 구해보자. ▷ P(X tilde)와 가능도 함수인 L(theta | X tilde)의 결과는 같지만, 가능도 함수는 y에 대한 함수가 아닌 theta에 대한 함수라는 점에서 다르다. 즉, 가능도란 모수에 대한 함수로써 모수가 주어졌을 때, 관측값에 대해 부여하는 확률을 의미한다. 빈도주의 관점에서 모수를 추정하기 위한 대표적인 방법으로는 MLE가 있다. MLE를 통해 베르누이 분포의 모수를 추..

베이즈 정리(Bayes' theorem) 베이지안 통계의 가장 핵심인 베이즈 정리(Bayes' theorem)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 베이즈 정리의 의미 2. 베이즈 정리의 예제 1. 베이즈 정리의 의미 베이즈 정리의 공식은 다음과 같다. ▷ 베이즈 정리에서 P(H)는 사전 확률(Prior probability)이라고 한다. 사전 확률이란 사건 E가 발생하기 전 사건 H에 대한 확률을 의미한다. ▷ 사건 E가 발생하게 되어 이 정보를 반영하면 사건 H의 확률은 P(H|E)로 바뀌게 되며, 이를 사후 확률(Posterior probability)이라 한다. ▷ P(E|H) 는 가능도(Likelihood)라 하고, 사건 H가 조건으로 주어진 상태에서 얼마나 사건 E가 가능한 지에 대한 확률을 의미한다. ▷ P(E) ..

이전 1 2 다음

티스토리툴바