본문 바로가기

Certificate

(12)

Part 3 - 03. SQL 기본과 활용 □ 옵티마이저(Optimizer) - SQL문에 대해서 실행계획을 수립 - 여러 개의 실행 계획 중에서 최저비용을 가지고 있는 계획을 선택해서 SQL 실행 □ 옵티마이저 엔진 - Query Transformer: SQL문을 효율적으로 실행하기 위해서 옵티마지어가 변환 / 변환되기 전과 결과는 동일 - Estimator: 통계정보를 사용하여 SQL 실행비용을 계산 - Plan Generator: SQL을 실행할 실행 계획 수립 □ 인덱스 - 데이터를 빠르게 검색할 수 있는 방법을 제공 □ 인덱스 트리 구조 - Root, Branch, Double □ Nested Loop - Random Access가 가장 많이 발생 □ Sort Merge - SORT가 가장 많이 발생 □ High Water mark - ..

Part 3 - 02. SQL 활용 □ EQUI 조인 - 두 개의 테이블 간에 일치하는 것을 조인 - "="의 비교 연산자를 사용 - ISO 표준 SQL로 INNER JOIN을 사용해야 함 □ HASH JOIN - EQUI 조인에서만 나타나는 실행 계획 □ OUTER JOIN - 두 개의 테이블 간에 교집합을 조회하고 한쪽 테이블에만 있는 데이터도 포함시켜서 조회 - 왼쪽 테이블에 있는 행도 포함하면 LEFT OUTER JOIN, 오른쪽 테이블에 있는 행도 포함하면 RIGHT OUTER JOIN, 양쪽 모두 포함시키면 FULL OUTER JOIN이라 함 □ CROSS JOIN - 조인구가 없이 조인이 되며, 카테시안 곱이 발생하여 많은 행이 조회 □ UNION - 두 개의 테이블을 하나로 합치면서 중복된 데이터를 제거 / 이 과정에서 정렬..

Part 3 - 01. SQL 기본 □ 관계형 데이터베이스 집합 연산과 관계 연산 집합 연산 - 합집합: 두 개의 릴레이션을 하나로 합침 / 중복된 행은 한 번만 조회 - 차집합: 본래 릴레이션에는 존재하고 다른 릴레이션에는 존재 하지 않는 것을 조회 - 교집합: 두 개의 릴레이션 간에 공통된 것을 조회 - 곱집합: 각 릴레이션에 존재하는 모든 데이터의 조합 연산 관계 연산 - 선택 연산: 조건에 맞는 행만 조회 - 투영 연산: 조건에 맞는 속성만을 조회 - 결합 연산: 여러 릴레이션의 공통된 속성을 사용하여 새로운 릴레이션 생성 - 나누기 연산: 기준 릴레이션에 나누는 릴레이션이 가지고 있는 속성과 동일한 값을 가지는 행을 추출하고 나누는 릴레이션의 속성을 삭제한 후 중복된 행을 제거하는 연산 □ DDL(Data Definition La..

Part 2 - 02. 데이터 모델과 성능 □ 정규화 - 제1정규화: 기본키를 설정 / 식별자를 찾는 과정 - 제2정규화: 기본키가 2개 이상의 속성으로 이루어진 경우, 부분 함수 종속성을 제거(분해) - 제3정규화: 기본키(주식별자)를 제외한 칼럼 간에 종속성 제거 / 이행 함수 종속성 제거 - BCNF: 일반 컬럼이 후보키를 결정하는 경우 만족하지 않음 - 제4정규화: 다중 값 종속성을 제거 - 제5정규화: 조인에 의해서 종속성이 발생되는 경우 분해 □ 정규화의 문제점 - 데이터 조회 시에 조인을 유발하기 때문에 CPU와 메모리를 많이 사용 - 중첩된 루프 □ 반정규화 - 데이터의 중복을 허용하여 성능을 향상 시키는 방법 - SELECT문의 실행 속도가 느려진 경우, 집계 정보가 요구되는 경우, 특정 범위를 자주 조회하는 경우에 사용 - 데이..

Part 2 - 01. 데이터 모델링 □ 데이터 모델링의 주요 특징 - 추상화: 현실세계를 간략히 표현 - 단순화: 이해하기 쉽도록 표현 - 명확화: 명확한 의미 전달 □ 데이터 모델링 절차 1. 개념적 모델링: 업무 측면에서 모델링 / 기술적 용어 사용 지양 2. 논리적 모델링: 식별자 도출 및 필요한 릴레이션 정의 / 정규화 수행 3. 물리적 모델링: 테이블, 인덱스, 함수 등 생성 / 성능, 보안, 가용성 등을 고려하여 데이터베이스 구축 □ 데이터 모델의 3가지 관점 - 데이터: 비즈니스 프로세스에서 사용되는 데이터 - 프로세스: 비즈니스 프로세스에서 수행되는 작업 - 데이터와 프로세스: 프로세스와 데이터 간의 관계 의미 □ ERD 작성 절차 1. 엔터티 도출 및 그림 2. 엔터티 배치 3. 엔터티 간에 관계 설정 4. 관계 서술 5...

Part 4 - 06. 가설 / 07. 통계분석 기법 □ 가설검증의 절차 귀무가설과 대립가설 설정 → 유의수준 설정 → 검정방법 선택 → 검정 통계량 계산 → 통계적인 의사결정 □ 가설검증 오류 - 1종 오류: 귀무가설이 진실인데 귀무가설을 기각하는 오류 - 2종 오류: 귀무가설이 거짓인데 귀무가설을 채택할 수 있는 오류 □ 검정통계량 - 귀무가설이 참이라는 가정에서 얻은 통계량 □ 신뢰구간 - 표본 통계량에서 파생되어 알 수 없는 모집단 모수값이 포함될 값의 범위 □ 검정력 - 대립가설이 참일 때, 귀무가설을 기각하는 확률 □ 통계분석 - 차이검정과 관계검정으로 나눌 수 있음 - 관계검정은 교차분석, 상관분석, 회귀분석으로 나눌 수 있음 □ 관계검정 기법 - 상관분석: 연속변수와 연속변수를 분석 / 균등변수 간의 분석 / 분산을 분석 / 데이터의 밀집에 ..

Part 4 - 01. 자료조사 / 02. 표본조사 / 03. 기술통계 / 04. 추리통계 / 05. 통계적 추론 □ 변수 - 독립변수와 종속변수 - 질적변수와 양적변수 - 이산변수와 연속변수 - 명목변수와 서열변수 - 등간변수와 비변수(비율변수) □ 표본조사 - 확률표집: - 단순 무작위 표집: 난수표 및 체계적 표집법 사용 - 층화표집법: 소집단 분류 후, 무작위로 추출 / 모집단 특성 이해 및 소집단 구분에 비용과 노력 발생 - 군집표집법: 군집 분류 후, 특정 군집의 모든 구성원 전수조사 / 시간 및 비용 감소 - 비확률표집 - 편의표본추출법: 모든 것을 임의로 지정 후, 표본 선택 - 판단표본추출법: 모집단 의견 반영할 수 있다고 판단될 때 사용 - 할당표본추출법: 사전에 정해놓은 분류기준에 따라 소집단으로 분류 후, 집단별 대상 선정 / 특성별로 비례하여 표본 추출 □ 질적자료 기술통계 요약 - 도수분표표..

Part 2 - 02. 분석 마스터 플랜 □ 마스터 플랜 - 수행해야 하는 과제 중에서 비즈니스 전략적 중요성과 성과를 분석해서 과제의 적용 우선순위를 결정 □ 과제 우선순위 결정 시에 고려사항 - 전략적 중요성 - 비즈니스 성과 및 ROI - 실행 용이성 □ 우선순위 평가 방법 1. 분석과제 도출 2. 우선순위 평가 3. 우선순위 정련 □ 데이터 분석과제 평가 시에 고려사항 - 시급성: 전략적 중요도 / 목표가치 → 비즈니스 효과 - 난이도: 데이터 수집, 저장, 가공 비용 / 분석 적용 비용 / 분석 수준 → 투자비용 □ 데이터 분석 거버넌스 - 분석조직, 분석수준 진단, 분석교육, 분석개발 및 확산, 평가 프로세스, 분석전문 인력으로 구성 □ 빅데이터 분석 성숙도 도입 → 활용 → 확산(전사차원에서 분석 관리 및 공유) → 최적화(분석을 ..

Part 2 - 01. 데이터 분석의 이해 □ 빅데이터 분석 방법론의 기본구조 암묵지 → 형식지 → 방법론 - 암묵지: 사람의 학습과 경험을 의미 - 형식지: 사람의 학습과 경험을 문서화 - 방법론: 형식지를 구체화하여 절차, 활동, 작업 등을 정의하여 문서화 □ 폭포수 모델 - 순차적인 단계 / 하향식 접근 - 이전 단계로 되돌아갈 수 없음 - 경험이 많고 위험이 낮은 업무에 적용 - 불필요한 문서작업 - 요구사항에 대한 반영과 확인이 어려움 □ 프로토타이핑 모델 - 프로토타입을 먼저 만들고 고객에게 확인 후에 개발 - 사용자 요구사항 도출이 용이 - 프로토타입을 완제품으로 오인 - 기대심리 유발에 따른 과다한 요구사항 혹은 변경 발생 - 문서화가 어려움 □ 반복 점증형 모델 - 큰 빅데이터 사업에 적용하는 모델 - 요구사항, 분석, 설계, 구..

Part 1 - 03. 데이터 사이언스와 전략 인사이트 □ 분석기획 3가지 역량 - 수학과 통계 - 정보기술 - 도메인 지식 □ 하드 스킬과 소프트 스킬 - 하드 스킬: 이론적 지식 및 기술적 숙련 / 머신러닝, 통계, 분산 컴퓨팅 등의 능력 - 소프트 스킬: 데이터 가치 발견하고 기회를 만드는 능력 / 창의적 사고, 호기심, 스토리텔링, 시각화, 의사소통 등의 능력 □ 빅데이터 분석의 기본 원칙 - 질문에서 시작 - 기존 데이터와 연결고리 - 어려운 방식의 프로그래밍과 툴은 지양 - 피드백 반영 □ 빅데이터 분석 주제 유형 분석 대상 Known Unknown 분석 방법 Known 최적화 통찰 Unknown 솔루션 발견 □ 목표 시점별 분석기획 - 과제중심 접근방법: 과제를 빠르고 단기적으로 해결 - 마스터 플랜 접근방법: 장기적으로 분석과정 정의하고 지속적..

Part 1 - 02. 데이터의 가치와 미래 □ 빅데이터의 특성 - 규모(Volume): Tera에서 Petta, Zetta 바이트 시대로 진입 - 다양성(Variety): 텍스트 이외의 다양한 비정형 데이터의 증가 - 속도(Velocity): 적시 활용을 위한 데이터 분석속도가 중요 - 정확성(Veracity): 질 높은 데이터 활용의 중요성 - 가치(Value): 가치있는 정보 창출 □ 가치 패러다임의 변화 1. 디지털화: 아날로그 시대에서 디지털 시대로 변화 2. 연결: 디지털 제품의 Ad-hoc 방식으로 연결 후, IP 네트워크에 융화 3. 에이전시: 그물망으로 연결된 것을 관리 □ 전통적 데이터와 빅데이터의 차이점 구분 전통적 데이터 빅데이터 데이터 크기 기가 바이트 테라, 페타, 제타 바이트 데이터 속도 시간, 일 단위 데이터 실시간 데..

Part 1 - 01. 데이터의 이해 □ 데이터의 특성 - 객관적인 사실 → 존재적 특성 - 추론, 예측, 전망, 추정을 위한 근거 → 당위적 특성 □ 데이터의 유형 - 정성적 데이터 → 언어, 문자 등의 형태 / 저장과 분석에 많은 시간 소모 - 정량적 데이터 → 수치, 도형, 기호 등의 형태 / 저장과 분석에 적은 비용 소모 □ 암묵지와 형식지 - 암묵지: 공식화를 통해 전달하기 힘든 지식 - 형식지: 체계적으로 정리된 지식 □ 지식창조 메커니즘 1. 공동화: 조직원간 경험과 인식 공유 / 암묵지 → 고차원 암묵지 2. 표출화: 암묵지 → 형식지 3. 연결화: 형식지의 단편 수집, 분류, 통합 / 새로운 형식지 창조 4. 내면화: 형식지 → 암묵지 □ 지식 피라미드 1. 데이터: 가공 전의 순수한 수치나 기호 / "A기업의 책 값은 10..

이전 1 다음

티스토리툴바