본문 바로가기

분류 전체보기

(86)

베이지안 포아송 회귀(Bayesian poisson regression) 단순 포아송 회귀(Simple poisson regression) 모델은 다음과 같다. ▷ 가능도는 포아송 분포로 정하고, 가능도 모수의 로그를 취한 것에 대하여 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 가능도 모수의 로그를 취한 값에 대하여 정의한다. ▷ 포아송 회귀 모델의 예측은 개별 데이터의 가능도의 평균, 즉, 가능도의 모수를 통해 이루어진다. ▷ 베이지안 포아송 회귀(Bayesian poisson regression)는 독립변수와 선형결합된 모수 beta의 사전분포를 정의한다는 점에서 포아송 회귀와 차이가 있다. R의 COUNT 패키지의 badhealth 데이터를 이용하여 베이지..

Part 4 - 06. 가설 / 07. 통계분석 기법 □ 가설검증의 절차 귀무가설과 대립가설 설정 → 유의수준 설정 → 검정방법 선택 → 검정 통계량 계산 → 통계적인 의사결정 □ 가설검증 오류 - 1종 오류: 귀무가설이 진실인데 귀무가설을 기각하는 오류 - 2종 오류: 귀무가설이 거짓인데 귀무가설을 채택할 수 있는 오류 □ 검정통계량 - 귀무가설이 참이라는 가정에서 얻은 통계량 □ 신뢰구간 - 표본 통계량에서 파생되어 알 수 없는 모집단 모수값이 포함될 값의 범위 □ 검정력 - 대립가설이 참일 때, 귀무가설을 기각하는 확률 □ 통계분석 - 차이검정과 관계검정으로 나눌 수 있음 - 관계검정은 교차분석, 상관분석, 회귀분석으로 나눌 수 있음 □ 관계검정 기법 - 상관분석: 연속변수와 연속변수를 분석 / 균등변수 간의 분석 / 분산을 분석 / 데이터의 밀집에 ..

Part 4 - 01. 자료조사 / 02. 표본조사 / 03. 기술통계 / 04. 추리통계 / 05. 통계적 추론 □ 변수 - 독립변수와 종속변수 - 질적변수와 양적변수 - 이산변수와 연속변수 - 명목변수와 서열변수 - 등간변수와 비변수(비율변수) □ 표본조사 - 확률표집: - 단순 무작위 표집: 난수표 및 체계적 표집법 사용 - 층화표집법: 소집단 분류 후, 무작위로 추출 / 모집단 특성 이해 및 소집단 구분에 비용과 노력 발생 - 군집표집법: 군집 분류 후, 특정 군집의 모든 구성원 전수조사 / 시간 및 비용 감소 - 비확률표집 - 편의표본추출법: 모든 것을 임의로 지정 후, 표본 선택 - 판단표본추출법: 모집단 의견 반영할 수 있다고 판단될 때 사용 - 할당표본추출법: 사전에 정해놓은 분류기준에 따라 소집단으로 분류 후, 집단별 대상 선정 / 특성별로 비례하여 표본 추출 □ 질적자료 기술통계 요약 - 도수분표표..

베이지안 로지스틱 회귀(Bayesian logistic regression) 단순 로지스틱 회귀(Simple logistic regression) 모델은 다음과 같다. ▷ 가능도는 베르누이 분포로 정하고, 가능도 모수의 로짓(Logit)을 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 로짓을 정의한다. ▷ 로지스틱 회귀의 예측은 개별 데이터의 가능도의 평균, 즉 가능도의 모수를 통해 이루어진다. ▶ 베이지안 로지스틱 회귀(Bayesian logistic regression)는 로짓을 나타내는 독립변수의 선형결합된 모수의 사전분포를 정의한다는 점에서 로지스틱 회귀와 차이가 있다. R의 boot 패키지의 urine 데이터를 이용하여 베이지안 로지스틱 회귀 분석을 수행할 것..

DIC(Deviance Information Criterion) 베이지안 모델에서는 모델 선택을 위한 정보의 기준으로써 DIC(Deviance Information Criterion)을 제시하고 있다. DIC의 공식은 다음과 같다. ▷ theta hat은 각 모수의 사후평균이고, 사후분포로부터 얻은 theta hat의 로그 가능도와 실질적인 모수의 갯수(Effective number of parameters)를 고려하여 DIC를 구할 수 있다. ▶ 실질적인 모수의 갯수는 모델의 추정치 사이에 상관(Correlation)을 고려하기 위한 것이다. 예를 들어, 모델의 추정치 사이에 0.99의 상관이 존재한다면 이를 독립적인 모수로 간주한다면 합리적이지 않을 것이다. R의 car 패키지의 Leihardt 데이터를 이용한 두 모델을 DIC를 통해 비교하여보자. In: lib..

Part 2 - 02. 분석 마스터 플랜 □ 마스터 플랜 - 수행해야 하는 과제 중에서 비즈니스 전략적 중요성과 성과를 분석해서 과제의 적용 우선순위를 결정 □ 과제 우선순위 결정 시에 고려사항 - 전략적 중요성 - 비즈니스 성과 및 ROI - 실행 용이성 □ 우선순위 평가 방법 1. 분석과제 도출 2. 우선순위 평가 3. 우선순위 정련 □ 데이터 분석과제 평가 시에 고려사항 - 시급성: 전략적 중요도 / 목표가치 → 비즈니스 효과 - 난이도: 데이터 수집, 저장, 가공 비용 / 분석 적용 비용 / 분석 수준 → 투자비용 □ 데이터 분석 거버넌스 - 분석조직, 분석수준 진단, 분석교육, 분석개발 및 확산, 평가 프로세스, 분석전문 인력으로 구성 □ 빅데이터 분석 성숙도 도입 → 활용 → 확산(전사차원에서 분석 관리 및 공유) → 최적화(분석을 ..

Part 2 - 01. 데이터 분석의 이해 □ 빅데이터 분석 방법론의 기본구조 암묵지 → 형식지 → 방법론 - 암묵지: 사람의 학습과 경험을 의미 - 형식지: 사람의 학습과 경험을 문서화 - 방법론: 형식지를 구체화하여 절차, 활동, 작업 등을 정의하여 문서화 □ 폭포수 모델 - 순차적인 단계 / 하향식 접근 - 이전 단계로 되돌아갈 수 없음 - 경험이 많고 위험이 낮은 업무에 적용 - 불필요한 문서작업 - 요구사항에 대한 반영과 확인이 어려움 □ 프로토타이핑 모델 - 프로토타입을 먼저 만들고 고객에게 확인 후에 개발 - 사용자 요구사항 도출이 용이 - 프로토타입을 완제품으로 오인 - 기대심리 유발에 따른 과다한 요구사항 혹은 변경 발생 - 문서화가 어려움 □ 반복 점증형 모델 - 큰 빅데이터 사업에 적용하는 모델 - 요구사항, 분석, 설계, 구..

베이지안 선형 회귀(Bayesian linear regression) R의 car 패키지의 Leihardt 데이터를 이용하여 베이지안 선형 회귀(Bayesian linear regression) 분석을 수행할 것이다. 수행 과정은 다음과 같다. 1. 데이터 확인 2. 모델링 3. 모델 확인 4. 잔차 분석 1. 데이터 확인 In: library(car) data('Leinhardt') pairs(Leinhardt) Out: ▷ Leihardt 데이터는 연속형 변수인 income, infant, region과 범주형 변수인 oil로 구성되어 있다. ▷ income과 infant가 비선형적인 관계를 나타내고 있는 것을 확인할 수 있다. 선형모델은 기본적으로 변수간 선형관계를 가정하기 때문에 두 변수에 로그를 취하여 변형할 것이다. In: Leinhardt$log_income ..

Part 1 - 03. 데이터 사이언스와 전략 인사이트 □ 분석기획 3가지 역량 - 수학과 통계 - 정보기술 - 도메인 지식 □ 하드 스킬과 소프트 스킬 - 하드 스킬: 이론적 지식 및 기술적 숙련 / 머신러닝, 통계, 분산 컴퓨팅 등의 능력 - 소프트 스킬: 데이터 가치 발견하고 기회를 만드는 능력 / 창의적 사고, 호기심, 스토리텔링, 시각화, 의사소통 등의 능력 □ 빅데이터 분석의 기본 원칙 - 질문에서 시작 - 기존 데이터와 연결고리 - 어려운 방식의 프로그래밍과 툴은 지양 - 피드백 반영 □ 빅데이터 분석 주제 유형 분석 대상 Known Unknown 분석 방법 Known 최적화 통찰 Unknown 솔루션 발견 □ 목표 시점별 분석기획 - 과제중심 접근방법: 과제를 빠르고 단기적으로 해결 - 마스터 플랜 접근방법: 장기적으로 분석과정 정의하고 지속적..

Part 1 - 02. 데이터의 가치와 미래 □ 빅데이터의 특성 - 규모(Volume): Tera에서 Petta, Zetta 바이트 시대로 진입 - 다양성(Variety): 텍스트 이외의 다양한 비정형 데이터의 증가 - 속도(Velocity): 적시 활용을 위한 데이터 분석속도가 중요 - 정확성(Veracity): 질 높은 데이터 활용의 중요성 - 가치(Value): 가치있는 정보 창출 □ 가치 패러다임의 변화 1. 디지털화: 아날로그 시대에서 디지털 시대로 변화 2. 연결: 디지털 제품의 Ad-hoc 방식으로 연결 후, IP 네트워크에 융화 3. 에이전시: 그물망으로 연결된 것을 관리 □ 전통적 데이터와 빅데이터의 차이점 구분 전통적 데이터 빅데이터 데이터 크기 기가 바이트 테라, 페타, 제타 바이트 데이터 속도 시간, 일 단위 데이터 실시간 데..

Part 1 - 01. 데이터의 이해 □ 데이터의 특성 - 객관적인 사실 → 존재적 특성 - 추론, 예측, 전망, 추정을 위한 근거 → 당위적 특성 □ 데이터의 유형 - 정성적 데이터 → 언어, 문자 등의 형태 / 저장과 분석에 많은 시간 소모 - 정량적 데이터 → 수치, 도형, 기호 등의 형태 / 저장과 분석에 적은 비용 소모 □ 암묵지와 형식지 - 암묵지: 공식화를 통해 전달하기 힘든 지식 - 형식지: 체계적으로 정리된 지식 □ 지식창조 메커니즘 1. 공동화: 조직원간 경험과 인식 공유 / 암묵지 → 고차원 암묵지 2. 표출화: 암묵지 → 형식지 3. 연결화: 형식지의 단편 수집, 분류, 통합 / 새로운 형식지 창조 4. 내면화: 형식지 → 암묵지 □ 지식 피라미드 1. 데이터: 가공 전의 순수한 수치나 기호 / "A기업의 책 값은 10..

MCMC(Markov Chain Monte-Carlo)의 수렴(Convergence) MCMC(Markov Chain Monte-Carlo)를 통해 생성한 데이터를 활용하기 위해서는 마르코프 체인(Markov Chain)이 정상상태(Stationary)에 수렴(Convergence)해야 한다. 이를 확인하고 다루는 방법에 대해 다룰 것이다. 1. Trace plot 2. 자기상관성(Autocorrelation) 3. 초기 단계(Burn-in period) 1. Trace plot MCMC의 수렴을 확인하는 가장 직관적인 방법은 데이터의 생성 과정을 직접 그림으로 나타내는 것이다. 시행횟수에 따른 생성된 데이터의 분포를 통해 이를 확인할 수 있다. In: log_g

이전 1 2 3 4 5 6 7 8 다음

티스토리툴바