rnn

Seq2Seq에서 Transformer까지: 문맥 누적에서 직접 참조로 · 1편

Vanilla Seq2Seq - 마지막 상태에 의존하던 구조

Seq2Seq의 기본 구조를 이해하려면 먼저 "입력 정보를 하나의 벡터로 압축한다"는 사실부터 받아들여야 합니다. 마지막 hidden state에 모든 정보를 담는 방식, 그리고 그 구조가 가진 근본적 한계.

seq2seq  rnn  encoder-decoder  attention  nlp

deep-learning

2023-05-25   ·   3 min read