베이지안 접근(Bayesian approach)이 필요한 이유

□ Example: Polynomial Curve Fitting

 

사인 함수에 노이즈를 추가하여 생성한 데이터에 1부터 20차 다항 함수 모형을 적합 후, 결과에 대하여 분석하여라.

 

노이즈를 추가한 데이터의 생성 과정은 다음과 같다.

 

 

다항 함수 모형은 다음과 같다.

 

▷ 다항 함수 모형의 모수의 개수는 차수의 개수에 1을 더한 것과 같다.

 

▷ 차수가 높아질수록 높은 자유도를 가진 비선형 적합이 가능하다. 차수가 높아질수록 자유도가 높아져 오버피팅 문제가 발생할 가능성이 높아진다. 따라서 데이터에 적합 시, 적절한 수의 차수를 지정하는 것이 중요하다.

 

 다음은 1차부터 20차 다항 함수 모형에 적합한 결과이다.

 

 

 

▷ 파란 점은 생성된 데이터를 의미하고, 초록 선은 실제 생성에 사용된 사인 함수를 의미한다.

 

▷ 다항 함수의 차수가 4차 이상부터 실제 사인 함수와 비슷한 형태를 띄기 시작한다.

 

▷ 20차 다항 함수 모형은 노이즈가 추가된 데이터에 적합하기 위해 사인 함수의 형태에서 많이 벗어난 것을 확인할 수 있다. 즉, 오버피팅이 발생하였다.

 

다음은 다항 함수 모형의 차수에 따른 R-Squared에 대한 그래프이다.

 

 

▷ 다항 함수 모형의 차수가 4인 지점에 R-Squared가 약 0.6으로 대폭 상승하며, 이후의 차수에서 꾸준히 증가하는 것으로 나타났다. 즉, 모수의 크기가 증가할수록 주어진 데이터에 더 잘 적합하기 나타난 결과로 볼 수 있다.

 

▷ 차수가 4 이상부터 증가폭이 엄청 줄어든 것을 볼 수 있는데, 이로부터 데이터가 4차 이상의 어느 차수부터 오버피팅하고 있다는 것을 예상할 수 있다.

 

다음은 다항 함수 모형의 차수에 따른 AIC의 그래프이다.

 

 

▷ 차수가 4인 다항 함수 모형에서 AIC가 가장 낮은 것으로 나타났다. 따라서 모형 선정 기준을 AIC로 정할 경우, 4차 다항 함수 모형을 최종 모형으로 선정할 수 있다.

 

□ 베이지안 접근이 필요한 이유

 

앞의 예에서 보다시피 ML(Maximum Likelihood) 방법을 통한 모수의 추정은 모형의 오버피팅 문제를 발생시킬 수 있다. 이는 특히 모수의 개수가 많아질수록 더욱 오버피팅 문제가 발생할 확률이 높아진다. 따라서 오버피팅 문제는 최대우도의 일반적인 특성으로 이해될 수 있다. 베이지안 접근을 적용한 모형에서는 이러한 문제가 발생하지 않으며, 모수의 수가 데이터의 수보다 압도적으로 많은 경우에도 오버피팅 문제가 발생하지 않는다.

 

다음은 L2 정규화 방법을 통해 모수를 추정하는 방법이다.

 

 

▷ 기존의 SSE 함수에 모수의 제곱 합을 페널티로 추가하여, 모수가 데이터에 오버피팅하기 위해 커지는 것을 막도록 한다.

 

다음은 베이지안 관점이 적용되어 모수를 추정하는 방법이다.

 

 

▷ y 의 우도 함수와 w의 사전분포가 위와 같이 정규분포를 따를 때, 사후분포의 함수는 둘의 곱에 비례한다.

 

▷ 사후분포를 최대로 하는 모수를 MAP(Maximum A Posterior)라고 하며, L2 정규화 방법을 통해 모수를 추정하는 방법과 같다는 것을 w MAP 와 w hat을 통해 알 수 있다. 즉, L2 정규화 방법을 베이지안 관점에서 해석이 가능하다.

 

▷ 우도 함수가 정규분포이고, 사전분포가 라플라스 분포일 때, MAP는 L1 정규화 방법을 통해 모수를 추정하는 방법과 같다.

 

---

Reference:

크리스토퍼 비숍, 「패턴인식과 머신러닝」, 아름다운재단(2018)