요약

• 특징^feature
  • 좋은 특징이란 모델이 원하는 출력 결과를 뱉어내기 위해, 해당 출력을 지니는 입력 샘플들을 다른 샘플들로부터 구분해낼 수 있는 특징.
  • 그리고 모델은 데이터의 샘플을 잘 설명하는 특징을 추출하고 학습할 수 있어야 한다.
  • 기존 머신러닝은 사용자가 가정을 세우고 직접 뽑아낸 특징^{hand-crafted feature}을 활용하여 모델이 패턴을 인식
  • 딥러닝은 날^raw 것의 데이터에서 모델이 직접 특징을 추출하여 학습을 수행
• 원 핫 인코딩^{one-hot encoding}
  • 연속 값과 카테고리 값의 결정적인 차이점은, 연속 값은 비슷한 값이라면 비슷한 의미를 지니지만, 카테고리 값은 비슷한 값일지라도 상관 없는 의미를 지닌다는 것
  • 원 핫 인코딩은 카테고리 값을 표현하기 위한 방법
  • 크기가 의미를 갖는 정수^integer로 나타내는 방법 대신, 한 개의 1과 $n-1$ 개의 0으로 이루어진 $n$ 차원의 벡터를 통해 표현.
• 은닉 표현^{hidden representation}
  • 잠재 표현^{latent representation}이라고 부르기도 함
  • 심층신경망의 내부 계층이 데이터를 잘 설명할 수 있도록 출력 차원인 저차원의 공간으로 비선형 변환을 하는 과정에서 얻어지는 결과물
  • 비슷한 성격의 샘플들은 비슷한 은닉 표현을 가지고 있을 가능성이 높다.
  • 은닉 표현이 어떠한 의미를 지니는지 해석하는 것은 매우 어렵다.

---