본문 바로가기

전체 글

(80)

Part 3 - 02. SQL 활용 □ EQUI 조인 - 두 개의 테이블 간에 일치하는 것을 조인 - "="의 비교 연산자를 사용 - ISO 표준 SQL로 INNER JOIN을 사용해야 함 □ HASH JOIN - EQUI 조인에서만 나타나는 실행 계획 □ OUTER JOIN - 두 개의 테이블 간에 교집합을 조회하고 한쪽 테이블에만 있는 데이터도 포함시켜서 조회 - 왼쪽 테이블에 있는 행도 포함하면 LEFT OUTER JOIN, 오른쪽 테이블에 있는 행도 포함하면 RIGHT OUTER JOIN, 양쪽 모두 포함시키면 FULL OUTER JOIN이라 함 □ CROSS JOIN - 조인구가 없이 조인이 되며, 카테시안 곱이 발생하여 많은 행이 조회 □ UNION - 두 개의 테이블을 하나로 합치면서 중복된 데이터를 제거 / 이 과정에서 정렬..

Part 3 - 01. SQL 기본 □ 관계형 데이터베이스 집합 연산과 관계 연산 집합 연산 - 합집합: 두 개의 릴레이션을 하나로 합침 / 중복된 행은 한 번만 조회 - 차집합: 본래 릴레이션에는 존재하고 다른 릴레이션에는 존재 하지 않는 것을 조회 - 교집합: 두 개의 릴레이션 간에 공통된 것을 조회 - 곱집합: 각 릴레이션에 존재하는 모든 데이터의 조합 연산 관계 연산 - 선택 연산: 조건에 맞는 행만 조회 - 투영 연산: 조건에 맞는 속성만을 조회 - 결합 연산: 여러 릴레이션의 공통된 속성을 사용하여 새로운 릴레이션 생성 - 나누기 연산: 기준 릴레이션에 나누는 릴레이션이 가지고 있는 속성과 동일한 값을 가지는 행을 추출하고 나누는 릴레이션의 속성을 삭제한 후 중복된 행을 제거하는 연산 □ DDL(Data Definition La..

Part 2 - 02. 데이터 모델과 성능 □ 정규화 - 제1정규화: 기본키를 설정 / 식별자를 찾는 과정 - 제2정규화: 기본키가 2개 이상의 속성으로 이루어진 경우, 부분 함수 종속성을 제거(분해) - 제3정규화: 기본키(주식별자)를 제외한 칼럼 간에 종속성 제거 / 이행 함수 종속성 제거 - BCNF: 일반 컬럼이 후보키를 결정하는 경우 만족하지 않음 - 제4정규화: 다중 값 종속성을 제거 - 제5정규화: 조인에 의해서 종속성이 발생되는 경우 분해 □ 정규화의 문제점 - 데이터 조회 시에 조인을 유발하기 때문에 CPU와 메모리를 많이 사용 - 중첩된 루프 □ 반정규화 - 데이터의 중복을 허용하여 성능을 향상 시키는 방법 - SELECT문의 실행 속도가 느려진 경우, 집계 정보가 요구되는 경우, 특정 범위를 자주 조회하는 경우에 사용 - 데이..

Part 2 - 01. 데이터 모델링 □ 데이터 모델링의 주요 특징 - 추상화: 현실세계를 간략히 표현 - 단순화: 이해하기 쉽도록 표현 - 명확화: 명확한 의미 전달 □ 데이터 모델링 절차 1. 개념적 모델링: 업무 측면에서 모델링 / 기술적 용어 사용 지양 2. 논리적 모델링: 식별자 도출 및 필요한 릴레이션 정의 / 정규화 수행 3. 물리적 모델링: 테이블, 인덱스, 함수 등 생성 / 성능, 보안, 가용성 등을 고려하여 데이터베이스 구축 □ 데이터 모델의 3가지 관점 - 데이터: 비즈니스 프로세스에서 사용되는 데이터 - 프로세스: 비즈니스 프로세스에서 수행되는 작업 - 데이터와 프로세스: 프로세스와 데이터 간의 관계 의미 □ ERD 작성 절차 1. 엔터티 도출 및 그림 2. 엔터티 배치 3. 엔터티 간에 관계 설정 4. 관계 서술 5...

Bayesian linear model for New York air quality measurements 캘리포니아 대학교의 "Bayesian Statistics: Techniques and Models"을 이수하기 위한 프로젝트 결과물이다. ########################## # setting & loading data # ########################## set.seed(777) library(dplyr) library(tidyr) library(ggplot2) library(GGally) library(rjags) theme_set(theme_light() + theme(plot.title = element_text(face = 'bold', colour = 'grey10'), plot.subtitle = element_text(colour = 'grey25'), panel...

계층적 모델(Hierarchical model) 다음의 예제를 통해 계층적 모델(Hierarchical model)의 특징을 알아보고, 모델링 결과에 대해 분석해 보자. 문제) 칙촉을 생산하는 5개의 공장이 있다. 각 공장에서 생산된 칙촉 과자 1개에 박혀 있는 초코칩 개수가 포아송 분포를 따르고, 포아송 분포의 모수는 감마분포를 따른다. cookies 데이터를 이용하여 칙촉 과자가 생산될 때, 박혀 있는 초코칩 개수에 대한 모델링을 수행한 후, 분석하시오. 풀이) ▷ 위의 문제에 대해 크게 3가지 모델링 방법으로 접근이 가능하다. (1) Fully independent model: 모든 데이터가 독립이라 가정하고, 하나의 포아송 모델을 만드는 것이다. 이는 각 공장별 차이와 같은 공장에서 생산된 칙촉의 비슷한 특성을 고려하지 못한다는 한계가 있다. ..

베이지안 포아송 회귀(Bayesian poisson regression) 단순 포아송 회귀(Simple poisson regression) 모델은 다음과 같다. ▷ 가능도는 포아송 분포로 정하고, 가능도 모수의 로그를 취한 것에 대하여 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 가능도 모수의 로그를 취한 값에 대하여 정의한다. ▷ 포아송 회귀 모델의 예측은 개별 데이터의 가능도의 평균, 즉, 가능도의 모수를 통해 이루어진다. ▷ 베이지안 포아송 회귀(Bayesian poisson regression)는 독립변수와 선형결합된 모수 beta의 사전분포를 정의한다는 점에서 포아송 회귀와 차이가 있다. R의 COUNT 패키지의 badhealth 데이터를 이용하여 베이지..

Part 4 - 06. 가설 / 07. 통계분석 기법 □ 가설검증의 절차 귀무가설과 대립가설 설정 → 유의수준 설정 → 검정방법 선택 → 검정 통계량 계산 → 통계적인 의사결정 □ 가설검증 오류 - 1종 오류: 귀무가설이 진실인데 귀무가설을 기각하는 오류 - 2종 오류: 귀무가설이 거짓인데 귀무가설을 채택할 수 있는 오류 □ 검정통계량 - 귀무가설이 참이라는 가정에서 얻은 통계량 □ 신뢰구간 - 표본 통계량에서 파생되어 알 수 없는 모집단 모수값이 포함될 값의 범위 □ 검정력 - 대립가설이 참일 때, 귀무가설을 기각하는 확률 □ 통계분석 - 차이검정과 관계검정으로 나눌 수 있음 - 관계검정은 교차분석, 상관분석, 회귀분석으로 나눌 수 있음 □ 관계검정 기법 - 상관분석: 연속변수와 연속변수를 분석 / 균등변수 간의 분석 / 분산을 분석 / 데이터의 밀집에 ..

Part 4 - 01. 자료조사 / 02. 표본조사 / 03. 기술통계 / 04. 추리통계 / 05. 통계적 추론 □ 변수 - 독립변수와 종속변수 - 질적변수와 양적변수 - 이산변수와 연속변수 - 명목변수와 서열변수 - 등간변수와 비변수(비율변수) □ 표본조사 - 확률표집: - 단순 무작위 표집: 난수표 및 체계적 표집법 사용 - 층화표집법: 소집단 분류 후, 무작위로 추출 / 모집단 특성 이해 및 소집단 구분에 비용과 노력 발생 - 군집표집법: 군집 분류 후, 특정 군집의 모든 구성원 전수조사 / 시간 및 비용 감소 - 비확률표집 - 편의표본추출법: 모든 것을 임의로 지정 후, 표본 선택 - 판단표본추출법: 모집단 의견 반영할 수 있다고 판단될 때 사용 - 할당표본추출법: 사전에 정해놓은 분류기준에 따라 소집단으로 분류 후, 집단별 대상 선정 / 특성별로 비례하여 표본 추출 □ 질적자료 기술통계 요약 - 도수분표표..

베이지안 로지스틱 회귀(Bayesian logistic regression) 단순 로지스틱 회귀(Simple logistic regression) 모델은 다음과 같다. ▷ 가능도는 베르누이 분포로 정하고, 가능도 모수의 로짓(Logit)을 독립변수의 선형결합으로 정의한다. 이때, 위의 식에서는 하나의 독립변수에 대한 선형결합으로 표현하였지만, 독립변수가 여러개이면 이 독립변수들의 선형결합을 통해 로짓을 정의한다. ▷ 로지스틱 회귀의 예측은 개별 데이터의 가능도의 평균, 즉 가능도의 모수를 통해 이루어진다. ▶ 베이지안 로지스틱 회귀(Bayesian logistic regression)는 로짓을 나타내는 독립변수의 선형결합된 모수의 사전분포를 정의한다는 점에서 로지스틱 회귀와 차이가 있다. R의 boot 패키지의 urine 데이터를 이용하여 베이지안 로지스틱 회귀 분석을 수행할 것..

DIC(Deviance Information Criterion) 베이지안 모델에서는 모델 선택을 위한 정보의 기준으로써 DIC(Deviance Information Criterion)을 제시하고 있다. DIC의 공식은 다음과 같다. ▷ theta hat은 각 모수의 사후평균이고, 사후분포로부터 얻은 theta hat의 로그 가능도와 실질적인 모수의 갯수(Effective number of parameters)를 고려하여 DIC를 구할 수 있다. ▶ 실질적인 모수의 갯수는 모델의 추정치 사이에 상관(Correlation)을 고려하기 위한 것이다. 예를 들어, 모델의 추정치 사이에 0.99의 상관이 존재한다면 이를 독립적인 모수로 간주한다면 합리적이지 않을 것이다. R의 car 패키지의 Leihardt 데이터를 이용한 두 모델을 DIC를 통해 비교하여보자. In: lib..

Part 2 - 02. 분석 마스터 플랜 □ 마스터 플랜 - 수행해야 하는 과제 중에서 비즈니스 전략적 중요성과 성과를 분석해서 과제의 적용 우선순위를 결정 □ 과제 우선순위 결정 시에 고려사항 - 전략적 중요성 - 비즈니스 성과 및 ROI - 실행 용이성 □ 우선순위 평가 방법 1. 분석과제 도출 2. 우선순위 평가 3. 우선순위 정련 □ 데이터 분석과제 평가 시에 고려사항 - 시급성: 전략적 중요도 / 목표가치 → 비즈니스 효과 - 난이도: 데이터 수집, 저장, 가공 비용 / 분석 적용 비용 / 분석 수준 → 투자비용 □ 데이터 분석 거버넌스 - 분석조직, 분석수준 진단, 분석교육, 분석개발 및 확산, 평가 프로세스, 분석전문 인력으로 구성 □ 빅데이터 분석 성숙도 도입 → 활용 → 확산(전사차원에서 분석 관리 및 공유) → 최적화(분석을 ..

이전 1 2 3 4 5 6 7 다음

티스토리툴바