본문 바로가기

분류 전체보기

(86)

Leaflet을 이용한 지도 시각화 R의 Leaflet을 이용하여 지도를 시각화 해보자. 우리나라의 행정구역을 시각화 할 것이다. 여기(www.gisdeveloper.co.kr/?p=2332)에서 얻은 2020년 5월의 시군구 행정구역 데이터를 이용할 것이다. In: library(leaflet) library(raster) library(htmltools) data_map = shapefile('../input/SIG.shp') ▷ leaflet은 지도의 시각화를 위해, raster은 확장자가 shp인 파일을 불러오기 위해, htmltools는 시각화된 지도 위에 나타나는 텍스트를 수정하기 위해서 사용할 것이다. In: head(data_map@data) head(data_map@plotOrder) # head(data_map@polyg..

베이지안 네트워크(Bayesian network) (2) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Factorization of Bayesian network 2. Conditional probability 3. Most probable assignment 4. Marginalization and elimination 5. Variable elimination 1. Factorization of Bayesian network ▷ 베이지안 네트워크의 Factorization은 Full joint distribution을 구할 때, 개별 노드의 Conditional probability의 Condition에 포함되는 노드를 각..

베이지안 네트워크(Bayesian network) (1) 본 포스팅은 카이스트 문일철 교수님의 인공지능 및 기계학습 개론 2의 베이지안 네트워크(Bayesian network) 강의 내용을 정리한 것이다. 다룰 내용은 다음과 같다. 1. Conditional vs. Marginal independence 2. Bayesian network 3. Interpretation of Bayesian network 4. Typical local structures 5. Bayes ball algorithm 1. Conditional vs. Marginal independence ▷ Conditional independence와 Marginal independence는 둘 다 독립을 의미하지만, 약간의 차이가 있다. Marginal independence는 P(A|B) ..

혼합 모델(Mixture model) 다음의 데이터의 히스토그램을 확인하고, 이를 적합할 분포에 대하여 생각해 보자. In: data = read.csv('../input/mixture.csv', header = F) y = data$V1 n = length(y) hist(y, breaks = 20) Out: ▷ 일반적인 분포와는 다르게 -2와 1 근처에 두 개의 봉우리를 형성하고 있는 것을 확인할 수 있다. 우리가 알고 있는 정규분포, 지수분포, 감마분포는 단봉형태를 띄고 있다. 따라서 이를 위의 데이터에 적합할 경우, 두 개의 봉우리에 대해 적합한 분포를 얻을 수 없다. ▶ 혼합 모델(Mixture model)은 두 개이상의 분포를 합쳐서 만든 모델로 기존 분포에 비하여 자유도 높은 적합이 가능하다는 장점을 가지고 있다. 또한 복잡한 분..

임의절편 모델(Random intercept model) R의 car 패키지의 Leinhardt 데이터를 이용하여 임의절편 모델(Random intercept model)을 모델을 만들어보자. 수행과정은 다음과 같다. 1. 데이터 확인 2. 모델링 3. 모델확인 1. 데이터 확인 In: library(car) data('Leinhardt') pairs(Leinhardt) head(Leinhardt) Out: income infant region oil Australia 3426 26.7 Asia no Austria 3350 23.7 Europe no Belgium 3346 17.0 Europe no Canada 4751 16.8 Americas no Denmark 5029 13.5 Europe no Finland 3312 10.1 Europe no ▷ 연속형 ..

Part 3 - 03. SQL 기본과 활용 □ 옵티마이저(Optimizer) - SQL문에 대해서 실행계획을 수립 - 여러 개의 실행 계획 중에서 최저비용을 가지고 있는 계획을 선택해서 SQL 실행 □ 옵티마이저 엔진 - Query Transformer: SQL문을 효율적으로 실행하기 위해서 옵티마지어가 변환 / 변환되기 전과 결과는 동일 - Estimator: 통계정보를 사용하여 SQL 실행비용을 계산 - Plan Generator: SQL을 실행할 실행 계획 수립 □ 인덱스 - 데이터를 빠르게 검색할 수 있는 방법을 제공 □ 인덱스 트리 구조 - Root, Branch, Double □ Nested Loop - Random Access가 가장 많이 발생 □ Sort Merge - SORT가 가장 많이 발생 □ High Water mark - ..

Part 3 - 02. SQL 활용 □ EQUI 조인 - 두 개의 테이블 간에 일치하는 것을 조인 - "="의 비교 연산자를 사용 - ISO 표준 SQL로 INNER JOIN을 사용해야 함 □ HASH JOIN - EQUI 조인에서만 나타나는 실행 계획 □ OUTER JOIN - 두 개의 테이블 간에 교집합을 조회하고 한쪽 테이블에만 있는 데이터도 포함시켜서 조회 - 왼쪽 테이블에 있는 행도 포함하면 LEFT OUTER JOIN, 오른쪽 테이블에 있는 행도 포함하면 RIGHT OUTER JOIN, 양쪽 모두 포함시키면 FULL OUTER JOIN이라 함 □ CROSS JOIN - 조인구가 없이 조인이 되며, 카테시안 곱이 발생하여 많은 행이 조회 □ UNION - 두 개의 테이블을 하나로 합치면서 중복된 데이터를 제거 / 이 과정에서 정렬..

Part 3 - 01. SQL 기본 □ 관계형 데이터베이스 집합 연산과 관계 연산 집합 연산 - 합집합: 두 개의 릴레이션을 하나로 합침 / 중복된 행은 한 번만 조회 - 차집합: 본래 릴레이션에는 존재하고 다른 릴레이션에는 존재 하지 않는 것을 조회 - 교집합: 두 개의 릴레이션 간에 공통된 것을 조회 - 곱집합: 각 릴레이션에 존재하는 모든 데이터의 조합 연산 관계 연산 - 선택 연산: 조건에 맞는 행만 조회 - 투영 연산: 조건에 맞는 속성만을 조회 - 결합 연산: 여러 릴레이션의 공통된 속성을 사용하여 새로운 릴레이션 생성 - 나누기 연산: 기준 릴레이션에 나누는 릴레이션이 가지고 있는 속성과 동일한 값을 가지는 행을 추출하고 나누는 릴레이션의 속성을 삭제한 후 중복된 행을 제거하는 연산 □ DDL(Data Definition La..

Part 2 - 02. 데이터 모델과 성능 □ 정규화 - 제1정규화: 기본키를 설정 / 식별자를 찾는 과정 - 제2정규화: 기본키가 2개 이상의 속성으로 이루어진 경우, 부분 함수 종속성을 제거(분해) - 제3정규화: 기본키(주식별자)를 제외한 칼럼 간에 종속성 제거 / 이행 함수 종속성 제거 - BCNF: 일반 컬럼이 후보키를 결정하는 경우 만족하지 않음 - 제4정규화: 다중 값 종속성을 제거 - 제5정규화: 조인에 의해서 종속성이 발생되는 경우 분해 □ 정규화의 문제점 - 데이터 조회 시에 조인을 유발하기 때문에 CPU와 메모리를 많이 사용 - 중첩된 루프 □ 반정규화 - 데이터의 중복을 허용하여 성능을 향상 시키는 방법 - SELECT문의 실행 속도가 느려진 경우, 집계 정보가 요구되는 경우, 특정 범위를 자주 조회하는 경우에 사용 - 데이..

Part 2 - 01. 데이터 모델링 □ 데이터 모델링의 주요 특징 - 추상화: 현실세계를 간략히 표현 - 단순화: 이해하기 쉽도록 표현 - 명확화: 명확한 의미 전달 □ 데이터 모델링 절차 1. 개념적 모델링: 업무 측면에서 모델링 / 기술적 용어 사용 지양 2. 논리적 모델링: 식별자 도출 및 필요한 릴레이션 정의 / 정규화 수행 3. 물리적 모델링: 테이블, 인덱스, 함수 등 생성 / 성능, 보안, 가용성 등을 고려하여 데이터베이스 구축 □ 데이터 모델의 3가지 관점 - 데이터: 비즈니스 프로세스에서 사용되는 데이터 - 프로세스: 비즈니스 프로세스에서 수행되는 작업 - 데이터와 프로세스: 프로세스와 데이터 간의 관계 의미 □ ERD 작성 절차 1. 엔터티 도출 및 그림 2. 엔터티 배치 3. 엔터티 간에 관계 설정 4. 관계 서술 5...

Bayesian linear model for New York air quality measurements 캘리포니아 대학교의 "Bayesian Statistics: Techniques and Models"을 이수하기 위한 프로젝트 결과물이다. ########################## # setting & loading data # ########################## set.seed(777) library(dplyr) library(tidyr) library(ggplot2) library(GGally) library(rjags) theme_set(theme_light() + theme(plot.title = element_text(face = 'bold', colour = 'grey10'), plot.subtitle = element_text(colour = 'grey25'), panel...

계층적 모델(Hierarchical model) 다음의 예제를 통해 계층적 모델(Hierarchical model)의 특징을 알아보고, 모델링 결과에 대해 분석해 보자. 문제) 칙촉을 생산하는 5개의 공장이 있다. 각 공장에서 생산된 칙촉 과자 1개에 박혀 있는 초코칩 개수가 포아송 분포를 따르고, 포아송 분포의 모수는 감마분포를 따른다. cookies 데이터를 이용하여 칙촉 과자가 생산될 때, 박혀 있는 초코칩 개수에 대한 모델링을 수행한 후, 분석하시오. 풀이) ▷ 위의 문제에 대해 크게 3가지 모델링 방법으로 접근이 가능하다. (1) Fully independent model: 모든 데이터가 독립이라 가정하고, 하나의 포아송 모델을 만드는 것이다. 이는 각 공장별 차이와 같은 공장에서 생산된 칙촉의 비슷한 특성을 고려하지 못한다는 한계가 있다. ..

이전 1 2 3 4 5 6 7 8 다음

티스토리툴바