들어가며

앞서 처음에 딥러닝을 배우기 이전에 우리는 우리 머릿속의 가상의 함수를 근사^{approximation}하는 함수를 찾는 것이 목표라고 하였습니다. 이 함수는 비선형 함수일 가능성이 높기 때문에, 심층신경망을 통해 근사를 수행할 것입니다. 따라서 경사하강법^{gradient descent}과 역전파^{back-propagation} 방법을 통해 심층신경망을 학습시키는 방법을 배웠습니다. 이제는 우리의 생각을 좀 더 확장시켜야 할 때입니다.

사실 이 세상은 확률에 기반한다고도 볼 수 있습니다. 따라서 다음의 그림에 대해서 모두가 같은 대답을 하지 않을 것입니다.

이제 우리는 새로운 목표를 세우고자 합니다. 우리가 모방하고자 하는 가상의 함수는 확률 분포를 출력으로 뱉어내는 함수라고 생각해보도록 하겠습니다. 기존에는 신경망 함수가 단순히 특정 샘플 벡터를 출력한다고 생각했었지만, 이제는 신경망 함수는 확률 분포를 표현하기 위한 벡터를 출력한다고 볼 수 있을 것입니다. 그렇다면 우리는 신경망을 통해 예측하는 과정을 좀 더 확률 통계 및 수학적인 관점에서 설명 가능할 것입니다. 또한 단순히 딱 정해진 값을 예측하도록 신경망을 학습하는 것이 아닌, 불확실성까지 예측하도록 학습시킬 수 있게 될 것입니다.

---