요약
- 비선형 활성함수
- 시그모이드: 0에서 1사이의 값을 갖는다.
- 하이퍼볼릭 탄젠트: -1에서 1사이의 값을 갖는다.
- 로지스틱 회귀
- 로지스틱 회귀는 이진 분류를 수행하는 함수를 학습하는 알고리즘이다.
- 선형 계층의 출력 값을 시그모이드 함수에 통과시켜 0에서 1사이의 값으로 만들고, 0.5를 기준으로 참/거짓을 판단하도록 한다.
- BCE 손실 함수를 활용하여 학습할 수 있으며, 나머지 학습 방법은 대동소이하다.
- 로지스틱 회귀 모델의 출력 값의 출력을 확률로 생각할 수도 있다.
- 로지스틱 회귀의 수식
\[\begin{gathered}
\hat{\theta}=\underset{\theta\in\Theta}{\text{argmin}}-\frac{1}{N}\sum_{i=1}^N{
y_i^\top\cdot\log{f_\theta(x_i)}+(1-y_i)^\top\cdot\log(1-f_\theta(x_i))
}, \\
\text{where }\theta=\{W,b\}\text{ and }f_\theta(x)=\sigma(x\cdot{W}+b).
\end{gathered}\]