Part 2 - 01. 데이터 분석의 이해

□ 빅데이터 분석 방법론의 기본구조

암묵지 → 형식지 → 방법론

- 암묵지: 사람의 학습과 경험을 의미

- 형식지: 사람의 학습과 경험을 문서화

- 방법론: 형식지를 구체화하여 절차, 활동, 작업 등을 정의하여 문서화

 

□ 폭포수 모델

- 순차적인 단계 / 하향식 접근

- 이전 단계로 되돌아갈 수 없음

- 경험이 많고 위험이 낮은 업무에 적용

- 불필요한 문서작업

- 요구사항에 대한 반영과 확인이 어려움

 

□ 프로토타이핑 모델

- 프로토타입을 먼저 만들고 고객에게 확인 후에 개발

- 사용자 요구사항 도출이 용이

- 프로토타입을 완제품으로 오인

- 기대심리 유발에 따른 과다한 요구사항 혹은 변경 발생

- 문서화가 어려움

 

□ 반복 점증형 모델

- 큰 빅데이터 사업에 적용하는 모델

- 요구사항, 분석, 설계, 구현, 테스트를 반복적으로 수행

- 위험이 높은 업무부터 먼저 개발하여 위험성 낮춤

- 시스템 간에 통합 수행하는 모델

- 위험이 높은 프로젝트에 활용

 

□ 나선형 모델

- 위험이 높은 개발 사업에 적용

- 폭포수 모델과 프로토타이핑 모델이 통합된 모델

- 반복적인 개발

- 반복적인 위험분석 수행하여 위험 관리

 

□ 하향식 접근

분석요건 정의 → 분석요건 식별 → 프로세스 흐름 분석 → 프로세스 분류

- 비즈니스 모델 기반

- 외부참조 모델 기반

- 분석 유즈케이스 정의

 

□ 상향식 접근

- 데이터 원천으로부터 접근

- 프로토타이핑

 

□ KDD 분석 방법론

선정 → 전처리 → 변환 → 데이터마이닝 → 해석 및 평가

- 프로파일링 기술을 사용해 데이터로부터 통계적인 패턴이나 지식을 발견하기 위해서 정리한 데이터마이닝 프로세스

 

□ 계정계 데이터베이스(OLTP)

- 단위 프로세스를 실행하는 프로세스 의미

- 실시간으로 처리하는 시스템을 계정계라고 함

- 회원관리, 항공기 예약, 도서구매 등

 

□ 정보계(Data Warehouse)

- OLTP 시스템에서 추출, 정제, 적재하여 구축한 통합된 데이터베이스

- 주체지향적, 통합적, 비휘발성, 읽기전용의 특성을 가지고 있어 정보계로 함

 

□ CRISP-DM 분석 방법론

비즈니스 이해 → 데이터 이해 → 데이터준비 → 모델링 → 평가

- 비즈니스 요구사항에 맞게 데이터마이닝을 반복적으로 수행한느 라이프 사이클

 

□ 3계층 빅데이터 분석 방법론

- 절차, 활동, 산출물을 정의

1. 단계: 베이스라인 설정 및 품질 베이스라인의 완성 여부와 관리

2. 태스크: 각 단계별로 수행해야하는 일

3. 스텝: 1~2주 내에 완료 가능한 산출물을 의미하는 Work Package / Input → Tools → Output으로 만들어지는 단위 프로세스

 

□ WBS

- 프로젝트에서 수행해야 할 작업을 분할한 것

 

□ 5단계 빅데이터 분석 방법론

분석기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 데이터 평가 및 전개

 

□ ETL

- 데이터를 추출, 정제, 적재하기 위한 기법과 관련 도구를 의미

 

□ 정확도와 정밀도

- 정확도: 분석모델이 실제 값과 차이가 적다는 의미

- 정밀도: 분석모델을 반복적으로 수행해도 편차가 작다는 의미

 

□ 빅데이터 분석 프로젝트 관리영역 

- 범위 / 일정 / 원가 / 품질 / 인력 / 의사소통 / 위험관리 / 구매조달 / 이해관계자 / 통합

 

---

Reference:

임호진 외 2명, 「ADsP 데이터분석 준전문가」, 영진닷컴(2020)