masked-attention

Seq2Seq에서 Transformer까지: 문맥 누적에서 직접 참조로 · 4편

Self-Attention과 Transformer - 순차 연결을 끊고 직접 참조하다

RNN이 이전 상태 통해 문맥을 누적 전달했다면, Transformer는 필요한 토큰을 직접 찾아본다. Self-Attention이 어떻게 순차 구조를 없애고, Attention Seq2Seq와 어떻게 연결되는지 살펴본다.

transformer  self-attention  multi-head-attention  positional-encoding  masked-attention

deep-learning

2023-07-14   ·   3 min read