목차
Attention
Attention 모델
관련 문서
Attention
Attention 모델
인간이 정보처리를 할 때, 모든 sequence를 고려하면서 정보처리를 하는 것이 아님
인간의 정보처리와 마찬가지로, 중요한 feature는 더욱 중요하게 고려하는 것이 Attention의 모티브
기존
Seq2Seq
에서는
RNN
의 최종 output인 Context vector만을 활용
Attention에서는 인코더
RNN
셀의 각각 output을 활용
Decoder에서는 매 step마다 RNN 셀의 output을 이용해 dynamic하게 Context vector를 생성
관련 문서
딥러닝 기반 자연어 언어모델 BERT
RNN