bahdanau-attention
an archive of posts with this tag
-
Decoder의 남은 문제 - 출력 문맥도 여전히 누적된다
Attention은 Encoder의 정보 병목을 해결했다. 하지만 Decoder 자체는 여전히 이전 상태에 의존하는 순차 구조다. 이 문제가 왜 Transformer 등장의 마지막 동기가 되는지 살펴본다.
-
Attention Seq2Seq - 마지막 상태만 보지 말고 직접 보자
Vanilla Seq2Seq의 병목을 어떻게 해결할까? Decoder가 Encoder의 모든 hidden state를 "필요에 따라" 직접 참고하는 방식.