요약

• 하이퍼 파라미터
  • 하이퍼 파라미터란 모델의 성능에 영향을 주지만 데이터를 통해 자동으로 학습할 수 없는 파라미터를 가리킨다.
    • 학습률, 신경망의 깊이/너비, 활성함수의 종류 등
• 적응형 학습률
  • 학습률의 설정에 따라 모델의 학습 경향이 매우 달라질 수 있다.
  • 학습 초반에는 큰 학습률이 선호되고, 학습 후반에는 작은 학습률이 선호된다.
  • 이를 응용하여 각 가중치 파라미터별 학습 진행 정도에 따라 학습률을 다르게 자동 적용할 수 있다.
• Adam 최적화 방법
  • 가장 널리 쓰이는 알고리즘
  • 모멘텀과 적응형 학습률이 복합 적용된 방식
  • 학습률 하이퍼 파라미터가 존재하지만, 입문 단계에서는 딱히 튜닝할 필요가 없다.

---