Transformer 요약 설명, 조사

-Transformer

1. 참고 링크

1. 1) seq2seq
2. 2) 어텐션 매커니즘
3. 3) The Illustrated Transformer

2. 설명

1. -핵심 아이디어
   1. Seq2Seq와 비슷, 인코더, 디코더 안에서 Self Attention을 하여 각 item(word 등)간의 연관성을 반영
   2. Encoder(Multi-Head Self Attention + Feed Forward) ->
   3. Decoder(Multi-Head Self Attention + Encoder-Decoder Attention + Feed Forward)
      

      

      
      

      

2. -vector => word, Linear + Softmax
   1. 최종적으로 나온 결과를 word로 바꾸기 위해, linear, softmax의 과정을 거친다.