[딥러닝] 이론(2)

[딥러닝] 이론(1) 과 이어지는 내용입니다.

이론(1) 에서는 딥러닝의 간단한 구성요소에 대해 알아보았습니다.

이번에는 딥러닝의 학습이 어떻게 이루어지는지, 딥러닝의 문제점과 해결 방법이 무엇인지 알아보겠습니다.

---

딥러닝 학습

딥러닝 학습은 크게 순전파와 역전파라는 두 단계로 진행됩니다.

순전파 (Feedforward)

순전파는 네트워크 훈련 데이터가 들어올 때 발생하며, 데이터를 기반으로 예측 값을 계산하기 위해 신경망을 교차해 지나갑니다. 즉 모든 뉴련이 이전 층의 뉴런에서 수신한 정보에 따라 변환(가중합 및 활성화 함수를 통해...)을 적용하여 다음 층(은닉층)의 뉴런으로 전송하는 방식입니다. 네트워크를 통해 입력 데이터를 전달하며, 데이터가 모든 층을 통과하고 모든 뉴런이 계산을 완료하면 그 예측 값은 최종 층(출력층)에 도달합니다.

역전파 (Backpropagation)

순전파로 얻은 손실 함수로 네트워크의 예측 값과 실제 값 차이(손실)를 추정합니다. 이때 손실 함수 값은 '0'이 이상적입니다.

따라서 손실 함수 비용이 0에 가깝도록 하기 위해 모델이 훈련을 반복하면서 가중치를 조정합니다.

손실(오류)이 계산되면 그 정보는 역으로 전파(출력층 → 은닉층 → 입력층) 됩니다.

 

출력층에서 시작된 손실 비용은 은닉층의 모든 뉴런으로 전파되지만,은닉층의 뉴련은 각 뉴런이 원래 출력에 기여한 상대적 기여도에 따라(가중치에 따라) 값이 달라집니다. 즉,

(예측 값과 실제 값 차이를 각 뉴런의 가중치로 미분한 후 기존 가중치 값에서 뺍니다)

 

이 과정을 출력층 → 은닉층 → 입력층 순서로 모든 뉴런에 대해 진행하며 계산된 각 뉴련 결과를 또다시 순전파의 가중치 값으로 사용합니다. (이것이 반복되는게 '학습'이죠 푸히힣)

---

딥러닝 문제점

딥러닝의 핵심은 활성화 함수가 적용된 여러 은닉층을 결합하여 비선형 영역을 표현하는 것입니다.

아래 그림과 같이 활성화 함수가 적용된 은닉층 개수가 많을수록 데이터 분류가 잘되고 있음을 볼 수 있습니다.

 

하지만 은닉층이 많을수록 

 

과적합 문제

기울기 소멸 문제

성능 하락

 

위 세가지 문제가 생깁니다.

 

위 내용을 다 정리하기에는 글이 너무 복잡해지는 관계로 각각 따로 정리해 놓겠습니다. ㅠ