티스토리

Data world with 🌻Pep🌻

검색하기

블로그 홈

Data world with 🌻Pep🌻

rooney-song.tistory.com/m

🌻Pep🌻 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

베이지안 네트워크(Bayesian network)를 활용한 King County의 집값 분석 베이지안 네트워크(Bayesian network)를 활용하여 King County의 집값에 영향을 미치는 다양한 요소의 인과관계를 확인하고, 분석하는 것이 이 프로젝트의 목적이다. 데이터의 출처는 여기(www.kaggle.com/harlfoxem/housesalesprediction)이고, 아래의 구성 순서대로 분석 및 모델링 과정을 수행할 것이다. 모든 코드는 R로 작성되었다. 1. 데이터 전처리 2. 시각화 및 상관관계 분석 3. 다중회귀분석 4. 베이지안 네트워크 모델링 1. 데이터 전처리 In: # Statistic library(car) # Data manipulation library(dplyr) library(tidyr) # Visualization library(ggplot2) librar.. 공감수 2 댓글수 0 2020. 10. 22.
매개효과(Mediating effect) □ 매개효과(Mediating effect) - 독립변수가 종속변수에 유의한 영향을 미칠 때, 그 사이에 매개변수를 통해 그 영향이 전달되는 경우 - X(독립변수) → M(매개변수) → Y(종속변수) □ 매개효과의 종류 (1) 부분매개 효과 (2) 완전매개 효과 □ 매개효과 검증방법 - Baron & Kenny (1986) 방법 [1단계] X → M [2단계] X → Y [3단계] X + M → Y (1) 부분매개 효과 검증 [1단계] M = a + b1*X → b1 유의 [2단계] Y = a + phi*X → phi 유의 [3단계] Y = a + b2*X + b3*M → b3, b2 유의 ▷ 위의 3단계의 각 계수의 유의 조건을 만족할 경우, 부분매개효과가 나타난다고 볼 수 있다. (2) 완전매개 효과.. 공감수 1 댓글수 0 2020. 10. 8.
베이지안 네트워크(Bayesian network) (3) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Potential functions 2. Absorption in clique graph 3. Example of belief propagation 1. Potential functions ▷ Potential function은 잠재적으로 확률이 되는 함수로써, 아직 확률의 조건을 만족하기에 충분하지 않은 함수를 의미한다. 이 함수는 Belief propagation을 통해 확률로써 바뀌게 된다. 이에 대한 내용은 이후에 다루기로 하겠다. ▷ 위의 예는 Potential function을 설명하기 쉽게 나타낸 베이지안 네트워크.. 공감수 1 댓글수 0 2020. 9. 19.
베이지안 네트워크(Bayesian network) (2) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Factorization of Bayesian network 2. Conditional probability 3. Most probable assignment 4. Marginalization and elimination 5. Variable elimination 1. Factorization of Bayesian network ▷ 베이지안 네트워크의 Factorization은 Full joint distribution을 구할 때, 개별 노드의 Conditional probability의 Condition에 포함되는 노드를 각.. 공감수 1 댓글수 0 2020. 9. 12.
베이지안 네트워크(Bayesian network) (1) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Conditional vs. Marginal independence 2. Bayesian network 3. Interpretation of Bayesian network 4. Typical local structures 5. Bayes ball algorithm 1. Conditional vs. Marginal independence ▷ Conditional independence와 Marginal independence는 둘 다 독립을 의미하지만, 약간의 차이가 있다. Marginal independence는 P(A|B) .. 공감수 2 댓글수 1 2020. 9. 9.
혼합 모델(Mixture model) 다음의 데이터의 히스토그램을 확인하고, 이를 적합할 분포에 대하여 생각해 보자. In: data = read.csv('../input/mixture.csv', header = F) y = data$V1 n = length(y) hist(y, breaks = 20) Out: ▷ 일반적인 분포와는 다르게 -2와 1 근처에 두 개의 봉우리를 형성하고 있는 것을 확인할 수 있다. 우리가 알고 있는 정규분포, 지수분포, 감마분포는 단봉형태를 띄고 있다. 따라서 이를 위의 데이터에 적합할 경우, 두 개의 봉우리에 대해 적합한 분포를 얻을 수 없다. ▶ 혼합 모델(Mixture model)은 두 개이상의 분포를 합쳐서 만든 모델로 기존 분포에 비하여 자유도 높은 적합이 가능하다는 장점을 가지고 있다. 또한 복잡한 분.. 공감수 2 댓글수 0 2020. 9. 9.
임의절편 모델(Random intercept model) R의 car 패키지의 Leinhardt 데이터를 이용하여 임의절편 모델(Random intercept model)을 모델을 만들어보자. 수행과정은 다음과 같다. 1. 데이터 확인 2. 모델링 3. 모델확인 1. 데이터 확인 In: library(car) data('Leinhardt') pairs(Leinhardt) head(Leinhardt) Out: income infant region oil Australia 3426 26.7 Asia no Austria 3350 23.7 Europe no Belgium 3346 17.0 Europe no Canada 4751 16.8 Americas no Denmark 5029 13.5 Europe no Finland 3312 10.1 Europe no ▷ 연속형 .. 공감수 2 댓글수 0 2020. 9. 7.
Bayesian linear model for New York air quality measurements 캘리포니아 대학교의 "Bayesian Statistics: Techniques and Models"을 이수하기 위한 프로젝트 결과물이다. ########################## # setting & loading data # ########################## set.seed(777) library(dplyr) library(tidyr) library(ggplot2) library(GGally) library(rjags) theme_set(theme_light() + theme(plot.title = element_text(face = 'bold', colour = 'grey10'), plot.subtitle = element_text(colour = 'grey25'), panel... 공감수 2 댓글수 0 2020. 9. 1.
계층적 모델(Hierarchical model) 다음의 예제를 통해 계층적 모델(Hierarchical model)의 특징을 알아보고, 모델링 결과에 대해 분석해 보자. 문제) 칙촉을 생산하는 5개의 공장이 있다. 각 공장에서 생산된 칙촉 과자 1개에 박혀 있는 초코칩 개수가 포아송 분포를 따르고, 포아송 분포의 모수는 감마분포를 따른다. cookies 데이터를 이용하여 칙촉 과자가 생산될 때, 박혀 있는 초코칩 개수에 대한 모델링을 수행한 후, 분석하시오. 풀이) ▷ 위의 문제에 대해 크게 3가지 모델링 방법으로 접근이 가능하다. (1) Fully independent model: 모든 데이터가 독립이라 가정하고, 하나의 포아송 모델을 만드는 것이다. 이는 각 공장별 차이와 같은 공장에서 생산된 칙촉의 비슷한 특성을 고려하지 못한다는 한계가 있다. .. 공감수 3 댓글수 0 2020. 8. 22.
베이지안 포아송 회귀(Bayesian poisson regression) 단순 포아송 회귀(Simple poisson regression) 모델은 다음과 같다. ▷ 가능도는 포아송 분포로 정하고, 가능도 모수의 로그를 취한 것에 대하여 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 가능도 모수의 로그를 취한 값에 대하여 정의한다. ▷ 포아송 회귀 모델의 예측은 개별 데이터의 가능도의 평균, 즉, 가능도의 모수를 통해 이루어진다. ▷ 베이지안 포아송 회귀(Bayesian poisson regression)는 독립변수와 선형결합된 모수 beta의 사전분포를 정의한다는 점에서 포아송 회귀와 차이가 있다. R의 COUNT 패키지의 badhealth 데이터를 이용하여 베이지.. 공감수 1 댓글수 0 2020. 8. 21.
베이지안 로지스틱 회귀(Bayesian logistic regression) 단순 로지스틱 회귀(Simple logistic regression) 모델은 다음과 같다. ▷ 가능도는 베르누이 분포로 정하고, 가능도 모수의 로짓(Logit)을 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 로짓을 정의한다. ▷ 로지스틱 회귀의 예측은 개별 데이터의 가능도의 평균, 즉 가능도의 모수를 통해 이루어진다. ▶ 베이지안 로지스틱 회귀(Bayesian logistic regression)는 로짓을 나타내는 독립변수의 선형결합된 모수의 사전분포를 정의한다는 점에서 로지스틱 회귀와 차이가 있다. R의 boot 패키지의 urine 데이터를 이용하여 베이지안 로지스틱 회귀 분석을 수행할 것.. 공감수 1 댓글수 0 2020. 8. 19.
DIC(Deviance Information Criterion) 베이지안 모델에서는 모델 선택을 위한 정보의 기준으로써 DIC(Deviance Information Criterion)을 제시하고 있다. DIC의 공식은 다음과 같다. ▷ theta hat은 각 모수의 사후평균이고, 사후분포로부터 얻은 theta hat의 로그 가능도와 실질적인 모수의 갯수(Effective number of parameters)를 고려하여 DIC를 구할 수 있다. ▶ 실질적인 모수의 갯수는 모델의 추정치 사이에 상관(Correlation)을 고려하기 위한 것이다. 예를 들어, 모델의 추정치 사이에 0.99의 상관이 존재한다면 이를 독립적인 모수로 간주한다면 합리적이지 않을 것이다. R의 car 패키지의 Leihardt 데이터를 이용한 두 모델을 DIC를 통해 비교하여보자. In: lib.. 공감수 1 댓글수 0 2020. 8. 18.
베이지안 선형 회귀(Bayesian linear regression) R의 car 패키지의 Leihardt 데이터를 이용하여 베이지안 선형 회귀(Bayesian linear regression) 분석을 수행할 것이다. 수행 과정은 다음과 같다. 1. 데이터 확인 2. 모델링 3. 모델 확인 4. 잔차 분석 1. 데이터 확인 In: library(car) data('Leinhardt') pairs(Leinhardt) Out: ▷ Leihardt 데이터는 연속형 변수인 income, infant, region과 범주형 변수인 oil로 구성되어 있다. ▷ income과 infant가 비선형적인 관계를 나타내고 있는 것을 확인할 수 있다. 선형모델은 기본적으로 변수간 선형관계를 가정하기 때문에 두 변수에 로그를 취하여 변형할 것이다. In: Leinhardt$log_income .. 공감수 0 댓글수 0 2020. 8. 17.
MCMC(Markov Chain Monte-Carlo)의 수렴(Convergence) MCMC(Markov Chain Monte-Carlo)를 통해 생성한 데이터를 활용하기 위해서는 마르코프 체인(Markov Chain)이 정상상태(Stationary)에 수렴(Convergence)해야 한다. 이를 확인하고 다루는 방법에 대해 다룰 것이다. 1. Trace plot 2. 자기상관성(Autocorrelation) 3. 초기 단계(Burn-in period) 1. Trace plot MCMC의 수렴을 확인하는 가장 직관적인 방법은 데이터의 생성 과정을 직접 그림으로 나타내는 것이다. 시행횟수에 따른 생성된 데이터의 분포를 통해 이를 확인할 수 있다. In: log_g 공감수 0 댓글수 0 2020. 8. 16.
깁스 샘플링(Gibbs sampling) 깁스 샘플링(Gibbs sampling)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 깁스 샘플링 2. 깁스 샘플링의 예제 1. 깁스 샘플링 깁스 샘플링은 Metropolis Hastings(이하 MH) 알고리즘의 특별한 형태로, 제안 분포(Proposal distribution)를 자신의 Full conditional distribution로 두어 샘플링하는 방법이다. 이렇게 함으로써, 각 시행에서 발생하는 데이터에 대해 Acceptance probability는 1이 되는 성질을 가지게 된다. 다음의 증명을 통하여 이를 확인해보자. ▷ 제안 분포를 Full conditional posterior로 둠으로써 미세 균형 조건(Detailed balance condition)이 성립하게 된다. .. 공감수 0 댓글수 0 2020. 8. 14.
JAGS(Just Another Gibbs Sampler) 사용법 R의 JAGS(Just Another Gibbs Sampler)의 사용법에 대해 알아볼 것이다. JAGS를 통한 데이터 생성 과정은 4단계로 나눌 수 있다. 1. Specify the model 2. Set up the model 3. Run the MCMC(Markov Chain Monte Carlo) sampler 4. Post processing 다음의 모델에 이를 단계별로 적용하여 사후분포로부터 데이터를 생성하여 보자. 1. Specify the model In: library(rjags) mod_string = " model { for (i in 1:n) { y[i] ~ dnorm(mu, 1.0/sig2) } mu ~ dt(0.0, 1.0/1.0, 1) sig2 = 1.0 } " ▷ 위의 코드와.. 공감수 0 댓글수 0 2020. 8. 11.
메트로폴리스 헤이스팅스 알고리즘(Metropolis-Hastings algorithm) Metropolis-Hastings(이하 MH) 알고리즘에 대해 알아볼 것이다. MH 알고리즘은 MCMC(Markov Chain Monte-Carlo)의 일반적인 형태로써 특정 분포로부터 정상분포로 갖는 체인을 발생시킬 수 있다. 이를 이용하여 특정 분포로부터 데이터를 생성할 수 있다. 다룰 내용으로는 다음과 같다. 1. MH 알고리즘 2. Random walk MH 알고리즘 구현 1. MH 알고리즘 MH 알고리즘은 다음과 같다. ▷ q는 제안 분포(Proposal distribution)를 의미하고, g는 우리의 목적 분포(Target distribution)에서 정규화 상수(Normalizing constant)를 제외한 부분이다. 즉, 목적 분포와 g(theta)는 비례 관계가 성립한다. ▷ 초기값.. 공감수 2 댓글수 1 2020. 8. 11.
몬테카를로 추정(Monte-carlo estimation) 문제와 예시를 통해 몬테카를로 추정(Monte-carlo estimation)에 대해 알아볼 것이다. 문제) 감마분포(alpha = 2, beta = 1/3)의 평균을 수식적인 계산과 몬테카를로 추정을 통해 구하고 결과를 비교하여라. 풀이) In: alpha = 2 beta = 1/3 m = 10^8 theta_star 공감수 1 댓글수 0 2020. 8. 9.
그래프 표현(Graphical representation) 예시를 통해 베이지안 모델을 나타내기 위한 그래프 표현(Graphical representation) 방법에 대해 알아볼 것이다. 예시 1) 가능도 함수가 정규분포를 따르고, 정규분포의 두 모수가 위와 같이 사전분포를 따를 때, 이를 그래프로 표현해보자. ▷ 동그라미는 노드(Node)라고 부른다. 노드는 확률변수(Random variable)를 의미한다. 사전분포를 가지고 있는 mu와 sigma^2를 노드로 정하였다. ▷ 위의 그림에서 mu와 sigma^2 밑에 y1, y2, ... , yn도 확률변수이지만, 관측할 수 있기 때문에 이중 동그라미로 나타내었다. ▷ 각 노드별 종속(Dependence) 관계를 나타내기 화살표(Arrow)를 이용하였다. 화살이 가리키는 노드는 화살이 나오는 노드로부터 종속되.. 공감수 0 댓글수 0 2020. 8. 9.
통계 모델링 과정(Statistical modeling process) 데이터 분석 또는 문제 해결을 위한 통계 모델링 과정(Statistical modeling process)에 대해 알아볼 것이다. 단계는 8개로 나눌 수 있고, 아래와 같다. 1. Understand the problem 2. Plan and collect data 3. Explore data 4. Postulate model 5. Fit model 6. Check model 7. Iterate 8. Use model 각 단계에 대해 자세히 알아보자. 1. Understand the problem 가장 먼저 해야하는 것은 문제를 이해하는 것이다. 당연하기 때문에 간과하기 쉬운데, 이는 매우 중요하다. 예를 들어, 프랜차이즈의 수익 데이터를 각 지역에서 얻었다고 가정하자. 수익의 평균을 통해 프랜차이즈 사.. 공감수 0 댓글수 0 2020. 8. 7.
통계 모델(Statistical model) 통계 모델(Statistical model)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 통계 모델의 정의 2. 통계 모델의 목적 1. 통계 모델의 정의 통계 모델이란 데이터 생성 구조(Data generating process)를 모방(Imitation) 또는 근사(Approximation)하기 위한 수학적 구조(Mathematical structure)를 말한다. 일반적으로 통계 모델은 변수간의 관계를 나타내며, 데이터의 불확실성(Uncertainty)과 변동성(Variability)를 설명한다. 통계 모델은 인과관계 또는 노이즈 데이터로부터 은닉 변수(Hidden variable)를 파악하는데 도움을 줄 수 있다. 2. 통계 모델의 목적 통계 모델의 목적은 크게 4가지로 나눌 수 있다. .. 공감수 0 댓글수 0 2020. 8. 7.
제프리 사전분포(Jeffrey's prior) 제프리 사전분포(Jeffrey's prior)에 대해 알아볼 것이다. 다룰 내용으로는 다음과 같다. 1. 제프리 사전분포의 정의 2. 제프리 사전분포의 예제 1. 제프리 사전분포의 정의 단변수 theta의 제프리 사전분포(Jeffrey's prior)는 다음과 같이 정의된다. 여기서 I(theta)는 기대 피셔 정보값(Expected Fisher information)을 나타내며 다음과 같이 계산된다. ▷ 제프리 사전분포의 가장 큰 특징은 불변성(Invariance)을 가지고 있다는 것이다. 즉, 제프리 사전분포를 사용할 경우, 모수의 사후분포와 모수의 함수에 대한 사후분포가 있을 때, 변수변환을 통해 같음을 보일 수 있다. 2. 제프리 사전분포의 예제 문제) 가능도 함수가 지수분포일 때, 제프리 사전분.. 공감수 4 댓글수 0 2020. 8. 6.
무정보 사전분포(Non-informative prior distribution) 무정보 사전분포(Non-informative prior distribution)에 알아볼 것이다. 관심있는 모수에 대한 정보를 주고 싶지 않다면, 모수의 모든 가능한 값들에 동일한 가중치를 부여하는 것이 합리적일 것이다. 따라서 사전분포로 균등분포를 사용할 것이다. 이를 적용하여 다음의 상황에 대해 생각해보자. ▷ 균등분포는 베타분포의 특이한 경우이다. 이를 이용하여, ESS(Effective Sample Size)를 구할 수 있다. 즉, 2개의 샘플만큼 사후분포에 영향을 미치므로 완전한 무정보 사전분포라고 할 수 없다. 데이터에만 종속적인(Dependent) 사후분포를 추정하기 위해 ESS를 줄여보자. ▷ 사전분포의 두 모수를 0으로 정하여 ESS를 0으로 만들었다. ESS가 0인 무정보 사전분포를 사.. 공감수 0 댓글수 0 2020. 8. 5.
다양한 켤레사전분포(Conjugate prior distribution) 문제를 통해 다양한 켤레사전분포(Conjugate prior distribution)에 대해 알아보자. 문제 1) 10분동안 정류장에 도착하는 버스 수의 분포가 지수분포를 따르고, 지수분포의 모수가 감마분포(alpha = 100, beta = 1000)를 따른다. 10분동안 12대의 버스가 도착하였다. 이때, 사후분포와 사후평균을 구하여라. 풀이) ▷ 사후분포는 alpha가 101, beta가 1012인 감마분포이다. 사전분포와 사후분포가 감마 분포를 따르므로 켤레사전분포라고 할 수 있다. ▷ 사전분포의 ESS(Effective Sample Size)는 alpha와 beta의 합이므로, 1100이다. ▷ 사후평균은 0.0998로 거의 변화가 없는 것으로 나타났다. 이는 ESS가 데이터의 개수에 비해 압도.. 공감수 0 댓글수 1 2020. 7. 31.
사후평균(Posterior mean)과 ESS(Effective Sample Size) 문제를 통해 사후평균(Posterior mean)과 ESS(Effective Sample Size)에 대해 알아보자. 문제 1) 사전분포가 베타분포를 따르고 가능도 함수가 베르누이 분포를 따를 때, 사후분포의 평균과 ESS를 구하여라. 풀이) ▷ 사후평균은 사전분포의 평균과 데이터 평균의 가중평균(Weighted average)으로 나타낼 수 있다. 데이터 가중치의 분자는 표본크기, 사전분포 가중치의 분자는 alpha와 beta의 합이다. 이때, ESS는 사전평균 가중치의 분자인 alpha와 beta의 합이다. 즉, ESS란 사전평균이 사후평균에 반영되는 비중을 샘플 개수로 나타낸 것이다. ▶ ESS가 커지면 사후평균에서 사전평균의 비중이 커지고 데이터 평균의 비중이 줄어든다. 즉, 사전정보가 사후분포에.. 공감수 0 댓글수 0 2020. 7. 30.
켤레사전분포(Conjugate prior distribution) 켤레사전분포(Conjugate prior distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 켤레사전분포의 정의 2. 켤레사전분포의 예제 1. 켤레사전분포의 정의 켤레사전분포의 정의는 다음과 같다. ▷ 즉, 사전분포(Prior distribution)와 사후분포(Posterior distribution)가 동일한 분포족에 속하면 사전분포를 켤레사전분포라고 한다. ▷ 켤레사전분포를 사용하는 이유는 사후분포의 계산이 편리해지기 때문이다. 대표적 켤레사전분포는 다음과 같다. 2. 켤레사전분포의 예제 문제) 사전분포가 베타분포을 따르고 가능도 함수가 베르누이 분포를 따를 때, 이 사전분포가 켤레사전분포임을 보여라. 풀이) ▷ 위의 결과를 통해 사전분포와 사후분포가 베타분포를 따르는 .. 공감수 2 댓글수 0 2020. 7. 29.
사전예측분포와 사후예측분포(Prior and posterior predictive distribution) 사전예측분포(Prior predictive distribution)와 사후예측분포(Posterior predictive distribution)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 사전예측분포와 사후예측분포의 정의 2. 사전예측분포와 사후예측분포의 예제 1. 사전예측분포와 사후예측분포의 정의 ▷ 사전예측분포는 베이즈 정리를 이용하여 구하면, 사전분포와 가능도 함수의 곱을 적분한 형태로 정의된다. 즉, theta에 대한 가능도 함수의 평균이라 할 수 있다. ▷ 사후예측분포는 베이즈 정리를 이용하여 구할 수 있다. 이때, 일반적으로 관측 결과인 x와 확률 변수 x tilde의 관계는 독립이라 가정하기 때문에, theta의 사후분포와 가능도 함수의 곱을 적분한 형태로 정의된다. theta의.. 공감수 5 댓글수 0 2020. 7. 27.
신용구간(Credible interval) 신용구간(Credible interval)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 신용구간의 정의 2. 신용구간의 예제 1. 신용구간의 정의 신용구간의 정의는 다음과 같다. ▷ 빈도주의(Frequentist) 관점에서는 모수가 고정되어 있기 때문에 신뢰구간(Confidence interval)에 대한 해석이 우리의 직관과 맞지 않는 문제가 발생한다. 신용구간은 모수에 대한 사후분포를 가정하고 있기 때문에 신용구간의 해석이 우리의 직관과 일치한다. 즉, 모수가 해당 신용구간에 대해 존재할 확률에 대한 해석이 가능하다. 2. 신용구간의 예제 문제) 동전의 앞면이 나올 확률이 균일분포를 따르고, 가능도 함수는 베르누이 분포을 따른다. 이 때, 동전을 던졌더니 앞면이 나왔다. 이 결과를 이용하여.. 공감수 1 댓글수 0 2020. 7. 26.
빈도주의 추론(Frequentist inference) 빈도주의(Frequentist) 관점의 추론(Inference)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 가능도(Likelihood)와 MLE(Maximum Likelihood Estimation) 2. 신뢰구간(Confidence interval) 1. 가능도와 MLE 베르누이 분포의 가능도 함수를 구해보자. ▷ P(X tilde)와 가능도 함수인 L(theta | X tilde)의 결과는 같지만, 가능도 함수는 y에 대한 함수가 아닌 theta에 대한 함수라는 점에서 다르다. 즉, 가능도란 모수에 대한 함수로써 모수가 주어졌을 때, 관측값에 대해 부여하는 확률을 의미한다. 빈도주의 관점에서 모수를 추정하기 위한 대표적인 방법으로는 MLE가 있다. MLE를 통해 베르누이 분포의 모수를 추.. 공감수 1 댓글수 0 2020. 7. 26.
베이즈 정리(Bayes' theorem) 베이지안 통계의 가장 핵심인 베이즈 정리(Bayes' theorem)에 대해 알아볼 것이다. 다룰 내용은 다음과 같다. 1. 베이즈 정리의 의미 2. 베이즈 정리의 예제 1. 베이즈 정리의 의미 베이즈 정리의 공식은 다음과 같다. ▷ 베이즈 정리에서 P(H)는 사전 확률(Prior probability)이라고 한다. 사전 확률이란 사건 E가 발생하기 전 사건 H에 대한 확률을 의미한다. ▷ 사건 E가 발생하게 되어 이 정보를 반영하면 사건 H의 확률은 P(H|E)로 바뀌게 되며, 이를 사후 확률(Posterior probability)이라 한다. ▷ P(E|H) 는 가능도(Likelihood)라 하고, 사건 H가 조건으로 주어진 상태에서 얼마나 사건 E가 가능한 지에 대한 확률을 의미한다. ▷ P(E) .. 공감수 4 댓글수 0 2020. 7. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.