목록decoder (1)

통계 이야기

Attention is all you need 논문 요약

Transformer Background 기존의 기계 번역 모델로는 seq2seq모델이 존재했다. 인코더와 디코더 안의 구조가 주로 RNN 구조 혹은 LSTM구조를 사용하였다. 이러한 seq2seq모델의 문제점으로는 인코더를 통해 나온 하나의 context vector로 입력된 문장의 정보를 압축하기 때문에, 병목 현상 문제가 발생된다는 점이 있었다. 이는 모델의 성능을 떨어뜨리게 하는 문제를 야기한다. 이러한 단점의 대안으로 seq2seq모델에 attention mechanism이 추가 되었고 여기에 더 나아가 어떠한 RNN, LSTM구조를 사용하지 않고 attention mechanism만을 통한 모델링을 하는 transformer구조가 개발되었다. Transformer Architecture 트랜스..
자연어처리/논문리뷰 2023. 8. 22. 19:07
이전 Prev 1 Next 다음