요약
- 순환 신경망
- 순서 데이터sequential data를 다루기에 적합함
- 따라서 자연어처리에서 가장 널리 활용되는 형태
- RNN의 동작 원리를 정확하게 이해하지 못하더라도 입출력 텐서 형태만 맞춘다면 잘 동작할 것
- BPTTBack-Propagation Through Time 알고리즘에 의해 학습
- 기본 순환 신경망은 그래디언트 소실이 발생하게 되고, 긴 순서 데이터에 대해서 적절한 파라미터 업데이트를 할 수 없어, 긴 순서 데이터를 다루지 못함
- LSTM
- 내부에 시그모이드로 구성된 3개의 게이트를 가지고 있음
- 게이트가 미분시에 그래디언트를 보존하는 역할을 함
- 기본 RNN에 비해 파라미터가 많고 속도가 느릴 수 있지만, 많은 데이터와 빠른 하드웨어로 충분히 극복 가능함
- 그래디언트 소실 문제가 해결되지만 신경망의 수용 능력에는 한계가 있기 때문에 무한정 긴 데이터를 다룰수 없음. 더 긴 데이터를 다루기 위해선 어텐션 기법이 필요함.
- 활용 형태
- 자기회귀auto-regressive란 현재 상태가 과거 상태에 의존하여 정해지는 경우를 가리킴
| 타입
| 입력
| 출력
| 자기회귀 여부
| 양방향 가능 여부
| 사용 예
|
| 다대일many to one
| 순서 데이터
| 순서 데이터 아님
| X
| O
| 텍스트 분류
|
| 다대다many to many
| 순서 데이터
| 같은 길이의 순서 데이터
| X
| O
| 형태소 분석
|
| 일대다one to many
| 순서 데이터
| 다른 길이의 순서 데이터
| O
| X
| 자연어 생성
|