통계 모델링 과정(Statistical modeling process)

데이터 분석 또는 문제 해결을 위한 통계 모델링 과정(Statistical modeling process)에 대해 알아볼 것이다. 단계는 8개로 나눌 수 있고, 아래와 같다.

 

1. Understand the problem

2. Plan and collect data

3. Explore data

4. Postulate model

5. Fit model

6. Check model

7. Iterate

8. Use model

 

각 단계에 대해 자세히 알아보자.

 

1. Understand the problem

 

가장 먼저 해야하는 것은 문제를 이해하는 것이다. 당연하기 때문에 간과하기 쉬운데, 이는 매우 중요하다. 예를 들어, 프랜차이즈의 수익 데이터를 각 지역에서 얻었다고 가정하자. 수익의 평균을 통해 프랜차이즈 사업이 어떻게 진행되고 있는지 확인하는 것은 합리적이다. 하지만 다른 나라들의 수익 데이터에 이를 적용할 경우 문제가 발생한다. 왜냐하면 서로 다른 통화 단위를 사용하기 때문이다. 따라서 이 경우, 같은 단위로 맞추어 주는 것이 중요하다.

 

2. Plan and collect data

 

문제해결에 어떤 데이터가 가장 유용할 지에 대해 고민하여라. 데이터의 수집 방법, 크기, 질에 따라 모델링 결과의 가치가 결정되기 때문에 이 단계 역시 상당히 중요하다. 회사 직원에게 설문조사를 하는 경우에 대해 생각해보자. 주위에 있는 동료들의 설문조사를 이용할 경우, 이 결과를 이용하여 전체 직원에 대한 일반화를 하는 것은 합리적이지 않다. 따라서 일반화할 수 있는 데이터 수집 방법에 대해 고민해야할 것이다.

 

3. Explore data

 

시각화를 통해 변수의 관계를 파악하여라. 이러한 노력은 모델을 결정하는데 도움을 줄 것이다. 예를 들어, 변수 간의 선형 관계를 가지고 있다면 선형회귀 모델에 대해 고려할 수 있을 것이다.

 

4. Postulate model

 

데이터의 구조를 이해하고 적합한 모델을 선택하라.  일반적으로 모델의 파라미터가 실제 문제에 해석이 될 수 있는 모델을 사용하는 것이 바람직하다. 모델을 사용할 때, 모델의 복잡도(Complexity)와 일반화 가능도(Generalizability)에 관한 이슈가 있는데, 이를 편향-분산 트레이드오프(Bias-variance tradeoff)라고 한다. 이외에도 모델의 가정, 특성 등의 요소를 고려하여 적절한 모델을 선택해야 한다.

 

5. Fit model

 

데이터를 이용하여 파라미터를 추정하자.

 

6. Check model

 

모델이 데이터를 잘 모방(Imitate)하는가 체크를 해야 한다. "데이터 생성을 적절히 하는가?", "모델의 예측이 현실적인가?", "모델이 데이터에 작 적합(Fit)하는가?"라는 질문을 해보아야 한다. 이를 검증하기 위한 방법으로는 잔차 분석 또는 예측 결과 확인 등이 있다. 이 단계에서 모델 간 비교 가능한 기준을 세울 수 있다.

 

7. Iterate

 

모델을 적합하고 검증하는 단계에서 문제가 발생하거나, 기존의 모델보다 개선된 모델을 찾고 싶다면, 4 ~ 6단계를 반복하여 조건을 만족하는 모델을 찾자.

 

8. Use model

 

적절한 모델을 선정하였다면, 이 모델의 결과를 이용하여 문제에 대한 결론을 내리자. 모델의 타당성은 1 ~ 3단계에도 의존하기 때문에 간과하지 않도록 하자.

 

---

Reference:

"Bayesian Statistics: From Concept to Data AnalysisTechniques and Models," Coursera, https://www.coursera.org/learn/bayesian-statistics/.