Link

요약

  • 선형 회귀
    • 선형 데이터의 관계를 학습 또는 선형 함수를 근사할 수 있다.
    • 선형 계층에 입력 벡터 $x$ 을 넣어 출력 벡터 $\hat{y}$ 을 구할 수 있다.
    • MSE 손실 함수를 통해 출력 벡터 $\hat{y}$ 와 실제 정답 $y$ 사이의 손실을 구할 수 있다.
    • MSE 손실 값을 선형 계층 가중치 파라미터로 미분하여 그래디언트를 구할 수 있다.
    • 그래디언트에 따라 선형 계층의 가중치 파라미터를 업데이트하여 함수를 근사할 수 있다.
  • 선형 회귀의 수식
\[\begin{gathered} \hat{\theta}=\underset{\theta\in\Theta}{\text{argmin}}\sum_{i=1}^N{\|y_i-f_\theta(x_i)\|}_2^2, \\ \text{where }\theta=\{W,b\}\text{ and }f_\theta(x)=x\cdot{W}+b. \end{gathered}\]