.learn() - page 5
what I have learned so far
-
Self-Attention과 Transformer - 순차 연결을 끊고 직접 참조하다
RNN이 이전 상태 통해 문맥을 누적 전달했다면, Transformer는 필요한 토큰을 직접 찾아본다. Self-Attention이 어떻게 순차 구조를 없애고, Attention Seq2Seq와 어떻게 연결되는지 살펴본다.
-
Decoder의 남은 문제 - 출력 문맥도 여전히 누적된다
Attention은 Encoder의 정보 병목을 해결했다. 하지만 Decoder 자체는 여전히 이전 상태에 의존하는 순차 구조다. 이 문제가 왜 Transformer 등장의 마지막 동기가 되는지 살펴본다.
-
Attention Seq2Seq - 마지막 상태만 보지 말고 직접 보자
Vanilla Seq2Seq의 병목을 어떻게 해결할까? Decoder가 Encoder의 모든 hidden state를 "필요에 따라" 직접 참고하는 방식.
-
Vanilla Seq2Seq - 마지막 상태에 의존하던 구조
Seq2Seq의 기본 구조를 이해하려면 먼저 "입력 정보를 하나의 벡터로 압축한다"는 사실부터 받아들여야 합니다. 마지막 hidden state에 모든 정보를 담는 방식, 그리고 그 구조가 가진 근본적 한계.
-
종합 - 주소창에 URL을 입력하면 일어나는 일
Enter를 누른 순간부터 페이지가 뜨기까지, 1초 안에 시리즈의 모든 계층이 동원된다. 다섯 편의 내용을 하나의 흐름으로 관통하는 마지막 편.