Part 1 - 02. 데이터의 가치와 미래

□ 빅데이터의 특성

- 규모(Volume): Tera에서 Petta, Zetta 바이트 시대로 진입

- 다양성(Variety): 텍스트 이외의 다양한 비정형 데이터의 증가

- 속도(Velocity): 적시 활용을 위한 데이터 분석속도가 중요

- 정확성(Veracity): 질 높은 데이터 활용의 중요성

- 가치(Value): 가치있는 정보 창출

 

□ 가치 패러다임의 변화

1. 디지털화: 아날로그 시대에서 디지털 시대로 변화

2. 연결: 디지털 제품의 Ad-hoc 방식으로 연결 후, IP 네트워크에 융화

3. 에이전시: 그물망으로 연결된 것을 관리

 

□ 전통적 데이터와 빅데이터의 차이점

구분	전통적 데이터	빅데이터
데이터 크기	기가 바이트	테라, 페타, 제타 바이트
데이터 속도	시간, 일 단위 데이터	실시간 데이터
데이터 구조	정형화된 구조 데이터	반구조 및 비정형 데이터
데이터 원천	중앙집중형 데이터베이스	분산 데이터베이스
데이터 통합	쉬움	어려움
데이터 저장	RDB	HDFS, NoSQL

 

□ 빅데이터 구축 및 운영을 위한 7가지 기본 테크닉

- 연관규칙 학습: 변수들간의 관련성 분석

- 유형분석: 문서의 분류 및 조직 그룹화

- 기계학습: 데이터 학습 및 예측

- 유전 알고리즘: 유전자 데이터 분석

- 회귀분석: 독립변수와 종속변수 간의 관계 분석

- 감성분석: 글을 쓴 사람의 감정 분석

- 소셜 네트워크 분석: 특정인과 다른 사람과의 관계 파악 및 영향력 있는 사람 분석

 

□ 빅데이터 활용을 위한 3대 요소

- 자원: 빅데이터 / 정형 및 비정형 데이터를 포함하고 실시간으로 데이터 수집

- 기술: 빅데이터 플랫폼 / 대용량 데이터를 처리하기 위해 분산 파일 시스템 사용

- 인력: 데이터 사이언티스트 / 수학, 공학, 경제학 등의 학문을 학습하고 실무에서 사용할 수 있는 전문가

 

□ 빅데이터 처리 프로세스

데이터 소스 → 데이터 수집 → 데이터 저장 → 데이터 처리 → 데이터 분석 → 데이터 표현

 

□ 데이터 레이크

- 원시 데이터를 본연의 형식 그대로 저장하는 것

 

□ 빅데이터 저장방식

- RDB: 관계형 데이터베이스 사용 / SQL을 통한 관리

- NoSQL: 컬럼기반, 문서단위 데이터로 저장

- 분산 파일 시스템: 여러 서버에 분산하여 저장 / 대규모 저장소 제공 및 성능 향상

 

□ 빅데이터 위기요인 및 통제방안

- 사생활 침입: 데이터가 본래 목적 외로 가공하여 2차, 3차 목적으로 오용 가능성이 증가 / 분석가의 책임 

- 책임원칙 훼손: 분석대상은 예측 알고리즘으로 희생양이 될 가능성 증가 / 책임원칙 강화

- 데이터 오용: 잘못된 인사이트에 따른 비즈니스 손실 / 접근권한 허용 및 객관적인 인증 방안

 

□ 비식별화와 익명 데이터

- 비식별화: 개인 식별 가능한 요소들의 전부 혹은 일부 삭제

- 익명 데이터: 수집단계에서 근원적으로 개인을 식별할 수 없는 형태로 변경

 

□ 비식별화 조치

- 가명처리: 주요 식별요소를 다른 값으로 대체

- 총계처리 또는 평균값 대체: 데이터의 총합 값을 보임

- 데이터 값(가치) 삭제: 데이터 구성 값 중 일부 삭제

- 범주화: 범주의 값으로 변환

- 데이터 마스킹: 개인 식별자가 보이지 않도록 처리

 

---

Reference:

임호진 외 2명, 「ADsP 데이터분석 준전문가」, 영진닷컴(2020)