# RNN

### RNN의 구조적 문제점

  - 입력 sequence의 길이가 매우 긴 경우, 처음에 나온 token에 대한 정보가 희석
  - 고정된 context vector 사이즈로 인해 긴 sequence 에 대한 정보를 함축하기 어려움
  - 모든 token이 영향을 미치니, 중요하지 않은 token도 영향을 줌
  - => [[Attention]]의 탄생


### 출처

- [Awesome Recurrent Neural Networks](https://github.com/kjw0612/awesome-rnn)