요약

• 심층신경망
  • 선형 회귀 또는 로지스틱 회귀는 비선형 문제는 풀 수 없다.
  • 선형 계층들 사이에 비선형 활성 함수를 넣어 비선형 함수로 만들 수 있다.
  • 선형 계층과 비선형 활성 함수를 반복해서 쌓아 심층신경망을 구성할 수 있다.
  • 학습 방법은 기존 선형 회귀와 대동소이하다.
  • 신경망의 깊이와 너비는 하이퍼 파라미터로, 깊이가 깊고 너비가 넓을수록 복잡한 함수를 배울 수 있는 수용능력이 높아진다.
• 역전파 알고리즘
  • 역전파 알고리즘은 체인룰을 활용하여 복잡한 수식의 미분을 작게 분리하여 효율적으로 계산 및 계산 결과를 재활용 할 수 있게 한다.
• 그래디언트 소실
  • 시그모이드 함수와 탄에이치 함수의 기울기 값은 전 영역에서 1 이하이다.
  • 따라서 시그모이드 또는 탄에이치가 반복 사용될수록 신경망의 입력 쪽 계층 가중치 파라미터의 그래디언트는 작아지게 된다.
  • 너무 그래디언트가 작아지게 되면 가중치 파라미터 업데이트를 거의 할 수 없으므로, 학습이 진행되지 않는다.
• ReLU
  • 그래디언트 소실 문제를 어느정도 해결할 수 있다.
  • LeakyReLU는 음의 영역에 기울기가 존재하지만, ReLU와 딱히 성능 상에 우열을 가리긴 힘들다.
  • 수식

\[\begin{gathered} \text{ReLU}(x)=\max(0,x) \end{gathered}\]

---