요약

• 손실 함수가 필요한 이유
  • 신경망(e.g. 선형 계층)의 내부 가중치 파라미터를 조절하여 함수를 근사할 수 있다.
  • 얼마나 잘 근사하는지 알아야 더 좋은 가중치 파라미터를 선택할 수 있다.
  • 손실 값은 얼마나 잘 근사하는지 수치로 나타낸 것 (낮을수록 좋음)
  • 선형 계층의 가중치 파라미터 변화에 따라 손실 값이 변할 것
  • 따라서 가중치 파라미터를 입력으로 받아 손실 값을 출력으로 반환하는 함수를 만들 수 있음
  • 이것이 손실 함수
• 손실 함수
  • 입력: 가중치 파라미터
  • 출력: 손실 값
    • 계산 방법: 각 샘플 별 손실 값(모델의 출력 값과 정답의 차이)의 합
  • 손실 함수 공식 내의 상수는 의미가 없다.
• MSE 손실 함수의 수식

\[\begin{gathered} \mathcal{L}_\text{MSE}(\theta)=\frac{1}{m}\sum_{i=1}^N{ \sum_{j=1}^m{\Big( y_{i,j}-f(x_{i,j}) \Big)^2} }, \\ \text{where }f:\mathbb{R}^n\rightarrow\mathbb{R}^m. \end{gathered}\]

---