본문 바로가기

Statistics

(30)

베이지안 네트워크(Bayesian network)를 활용한 King County의 집값 분석 베이지안 네트워크(Bayesian network)를 활용하여 King County의 집값에 영향을 미치는 다양한 요소의 인과관계를 확인하고, 분석하는 것이 이 프로젝트의 목적이다. 데이터의 출처는 여기(www.kaggle.com/harlfoxem/housesalesprediction)이고, 아래의 구성 순서대로 분석 및 모델링 과정을 수행할 것이다. 모든 코드는 R로 작성되었다. 1. 데이터 전처리 2. 시각화 및 상관관계 분석 3. 다중회귀분석 4. 베이지안 네트워크 모델링 1. 데이터 전처리 In: # Statistic library(car) # Data manipulation library(dplyr) library(tidyr) # Visualization library(ggplot2) librar..

매개효과(Mediating effect) □ 매개효과(Mediating effect) - 독립변수가 종속변수에 유의한 영향을 미칠 때, 그 사이에 매개변수를 통해 그 영향이 전달되는 경우 - X(독립변수) → M(매개변수) → Y(종속변수) □ 매개효과의 종류 (1) 부분매개 효과 (2) 완전매개 효과 □ 매개효과 검증방법 - Baron & Kenny (1986) 방법 [1단계] X → M [2단계] X → Y [3단계] X + M → Y (1) 부분매개 효과 검증 [1단계] M = a + b1*X → b1 유의 [2단계] Y = a + phi*X → phi 유의 [3단계] Y = a + b2*X + b3*M → b3, b2 유의 ▷ 위의 3단계의 각 계수의 유의 조건을 만족할 경우, 부분매개효과가 나타난다고 볼 수 있다. (2) 완전매개 효과..

베이지안 네트워크(Bayesian network) (3) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Potential functions 2. Absorption in clique graph 3. Example of belief propagation 1. Potential functions ▷ Potential function은 잠재적으로 확률이 되는 함수로써, 아직 확률의 조건을 만족하기에 충분하지 않은 함수를 의미한다. 이 함수는 Belief propagation을 통해 확률로써 바뀌게 된다. 이에 대한 내용은 이후에 다루기로 하겠다. ▷ 위의 예는 Potential function을 설명하기 쉽게 나타낸 베이지안 네트워크..

베이지안 네트워크(Bayesian network) (2) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Factorization of Bayesian network 2. Conditional probability 3. Most probable assignment 4. Marginalization and elimination 5. Variable elimination 1. Factorization of Bayesian network ▷ 베이지안 네트워크의 Factorization은 Full joint distribution을 구할 때, 개별 노드의 Conditional probability의 Condition에 포함되는 노드를 각..

베이지안 네트워크(Bayesian network) (1) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Conditional vs. Marginal independence 2. Bayesian network 3. Interpretation of Bayesian network 4. Typical local structures 5. Bayes ball algorithm 1. Conditional vs. Marginal independence ▷ Conditional independence와 Marginal independence는 둘 다 독립을 의미하지만, 약간의 차이가 있다. Marginal independence는 P(A|B) ..

혼합 모델(Mixture model) 다음의 데이터의 히스토그램을 확인하고, 이를 적합할 분포에 대하여 생각해 보자. In: data = read.csv('../input/mixture.csv', header = F) y = data$V1 n = length(y) hist(y, breaks = 20) Out: ▷ 일반적인 분포와는 다르게 -2와 1 근처에 두 개의 봉우리를 형성하고 있는 것을 확인할 수 있다. 우리가 알고 있는 정규분포, 지수분포, 감마분포는 단봉형태를 띄고 있다. 따라서 이를 위의 데이터에 적합할 경우, 두 개의 봉우리에 대해 적합한 분포를 얻을 수 없다. ▶ 혼합 모델(Mixture model)은 두 개이상의 분포를 합쳐서 만든 모델로 기존 분포에 비하여 자유도 높은 적합이 가능하다는 장점을 가지고 있다. 또한 복잡한 분..

임의절편 모델(Random intercept model) R의 car 패키지의 Leinhardt 데이터를 이용하여 임의절편 모델(Random intercept model)을 모델을 만들어보자. 수행과정은 다음과 같다. 1. 데이터 확인 2. 모델링 3. 모델확인 1. 데이터 확인 In: library(car) data('Leinhardt') pairs(Leinhardt) head(Leinhardt) Out: income infant region oil Australia 3426 26.7 Asia no Austria 3350 23.7 Europe no Belgium 3346 17.0 Europe no Canada 4751 16.8 Americas no Denmark 5029 13.5 Europe no Finland 3312 10.1 Europe no ▷ 연속형 ..

Bayesian linear model for New York air quality measurements 캘리포니아 대학교의 "Bayesian Statistics: Techniques and Models"을 이수하기 위한 프로젝트 결과물이다. ########################## # setting & loading data # ########################## set.seed(777) library(dplyr) library(tidyr) library(ggplot2) library(GGally) library(rjags) theme_set(theme_light() + theme(plot.title = element_text(face = 'bold', colour = 'grey10'), plot.subtitle = element_text(colour = 'grey25'), panel...

계층적 모델(Hierarchical model) 다음의 예제를 통해 계층적 모델(Hierarchical model)의 특징을 알아보고, 모델링 결과에 대해 분석해 보자. 문제) 칙촉을 생산하는 5개의 공장이 있다. 각 공장에서 생산된 칙촉 과자 1개에 박혀 있는 초코칩 개수가 포아송 분포를 따르고, 포아송 분포의 모수는 감마분포를 따른다. cookies 데이터를 이용하여 칙촉 과자가 생산될 때, 박혀 있는 초코칩 개수에 대한 모델링을 수행한 후, 분석하시오. 풀이) ▷ 위의 문제에 대해 크게 3가지 모델링 방법으로 접근이 가능하다. (1) Fully independent model: 모든 데이터가 독립이라 가정하고, 하나의 포아송 모델을 만드는 것이다. 이는 각 공장별 차이와 같은 공장에서 생산된 칙촉의 비슷한 특성을 고려하지 못한다는 한계가 있다. ..

베이지안 포아송 회귀(Bayesian poisson regression) 단순 포아송 회귀(Simple poisson regression) 모델은 다음과 같다. ▷ 가능도는 포아송 분포로 정하고, 가능도 모수의 로그를 취한 것에 대하여 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 가능도 모수의 로그를 취한 값에 대하여 정의한다. ▷ 포아송 회귀 모델의 예측은 개별 데이터의 가능도의 평균, 즉, 가능도의 모수를 통해 이루어진다. ▷ 베이지안 포아송 회귀(Bayesian poisson regression)는 독립변수와 선형결합된 모수 beta의 사전분포를 정의한다는 점에서 포아송 회귀와 차이가 있다. R의 COUNT 패키지의 badhealth 데이터를 이용하여 베이지..

베이지안 로지스틱 회귀(Bayesian logistic regression) 단순 로지스틱 회귀(Simple logistic regression) 모델은 다음과 같다. ▷ 가능도는 베르누이 분포로 정하고, 가능도 모수의 로짓(Logit)을 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 로짓을 정의한다. ▷ 로지스틱 회귀의 예측은 개별 데이터의 가능도의 평균, 즉 가능도의 모수를 통해 이루어진다. ▶ 베이지안 로지스틱 회귀(Bayesian logistic regression)는 로짓을 나타내는 독립변수의 선형결합된 모수의 사전분포를 정의한다는 점에서 로지스틱 회귀와 차이가 있다. R의 boot 패키지의 urine 데이터를 이용하여 베이지안 로지스틱 회귀 분석을 수행할 것..

DIC(Deviance Information Criterion) 베이지안 모델에서는 모델 선택을 위한 정보의 기준으로써 DIC(Deviance Information Criterion)을 제시하고 있다. DIC의 공식은 다음과 같다. ▷ theta hat은 각 모수의 사후평균이고, 사후분포로부터 얻은 theta hat의 로그 가능도와 실질적인 모수의 갯수(Effective number of parameters)를 고려하여 DIC를 구할 수 있다. ▶ 실질적인 모수의 갯수는 모델의 추정치 사이에 상관(Correlation)을 고려하기 위한 것이다. 예를 들어, 모델의 추정치 사이에 0.99의 상관이 존재한다면 이를 독립적인 모수로 간주한다면 합리적이지 않을 것이다. R의 car 패키지의 Leihardt 데이터를 이용한 두 모델을 DIC를 통해 비교하여보자. In: lib..

이전 1 2 3 다음

티스토리툴바