인공지능 딥러닝에서의 과적합, 과소 적합에 대해서 알아보자

과적합, 과소 적합

과적합과 과소 적합을 알기 전에 학습을 해야 하는데 그러기 전에 딥러닝에 대해서 알아보는 게 좋을 듯싶다.

이번 글은 과적합과 과소 적합에 대해서 알아보려 한다.

인공지능(AI) 딥러닝과 알고리즘( CNN, RNN, LSTM)에 대해 알아보자

 

과적합

학습 중인 데이터의 양에 비해 머신러닝 모델이 너무 복잡해지면 발생 다른 말로 하면 훈련 데이터를 과하게 학습한 경우를 말한다.

과적합 상황에서는 훈련 데이터에 대해서는 오차가 낮지만, 테스트 데이터에 대해서는 오차가 높아지는 상황이 발생

아래의 그래프는 과적합 상황에서 발생할 수 있는 훈련 횟수에 따른 훈련 데이터의 오차와 테스트 데이터의 오차의 변화를 보여준다.

훈련 데이터의 오차와 테스트 데이터의 오차

 

• X축의 에포크(epoch)는 전체 훈련 데이터에 대한 훈련 횟수를 의미합니다. 위의 그래프는 에포크가 3~4를 넘어가게 되면 과적합이 발생
• 위의 그래프는 테스트 데이터에 대한 오차가 점차 증가하는 양상을 보이며
• 테스트 데이터의 오차가 증가하기 전이나, 정확도가 감소하기 전에 훈련을 멈추는 것이 바람직하다.

 

과소 적합

과소 적합은 모델이 너무 단순하여 데이터의 실제 패턴을 포착할 수 없을 때 발생하며 위에서 과적합 방지를 위해 테스트 데이터의 성능이 낮아지기 전에 훈련을 멈추는 것이 베스트라고 생각했는데 테스트 데이터의 성능이 올라갈 여지가 있음에도 훈련을 덜 한 상태를 반대로 과소적합(Underfitting)이라고 한다.

 

• 과소 적합은 훈련 자체가 부족한 상태이므로 과대 적합과는 달리 훈련 데이터에 대해서도 보통 정확도가 낮다는 특징

 

이러한 두 가지 현상을 과적합과 과소 적합이라고 부르는 이유는 머신 러닝에서 학습 또는 훈련이라고 하는 과정을 적합(fitting)이라고도 부를 수 있기 때문이며 모델이 주어진 데이터에 대해서 적합해져 가는 과정이기 때문이다.

 

최적 지점

과소 적합과 과적합 사이의 중간 지점을 찾는 것은 성공적인 기계 학습 모델을 구축하는 데 있어 중요한 측면이다.

 

 

이렇게 과적합과, 과소 적합, 최적 지점을 알아보았다.