문서 보기역링크PDF로 내보내기맨 위로 이 문서는 읽기 전용입니다. 원본을 볼 수는 있지만 바꿀 수는 없습니다. 문제가 있다고 생각하면 관리자에게 문의하세요. # Attention ### Attention 모델 - 인간이 정보처리를 할 때, 모든 sequence를 고려하면서 정보처리를 하는 것이 아님 - 인간의 정보처리와 마찬가지로, 중요한 feature는 더욱 중요하게 고려하는 것이 Attention의 모티브 - 기존 [[Seq2Seq]]에서는 [[RNN]]의 최종 output인 Context vector만을 활용 - Attention에서는 인코더 [[RNN]]셀의 각각 output을 활용 - Decoder에서는 매 step마다 RNN 셀의 output을 이용해 dynamic하게 Context vector를 생성 ![](https://i.imgur.com/4yrFwA0.jpg) open/attention.txt 마지막으로 수정됨: 2020/10/29 08:34저자 127.0.0.1