목록vision transformer (1)

통계 이야기

An Image is Worth 16x16 Words: Transformers for image recognition at scale(2021) 논문 요약

1. Introduction self attention에 기반한 Transformer구조는 NLP분야에서 지배적인 위치를 차지하게 되었다. 반면 컴퓨터 비전 분야에서는 컨볼루션 구조가 아직까지 지배적이었다. CNN 구조와 self attention을 조합한 모델들의 시도와 한계가 있었으며, 대규모 이미지 인식에서는 전통적인 ResNet과 같은 아키텍처가 여전히 뛰어난 성능을 보이고 있다. NLP 분야에서 Transformer 구조를 이미지에 그대로 적용을 해보았다. 이미지를 여러 패치들로 분해하였고 이는 NLP에서의 토큰과도 같이 여겨졌다. 우리는 이미지 분류 모델을 지도 학습 방식으로 훈련시켰다. 데이터가 충분하지 않을 경우, 트랜스포머 구조는 CNN에 내재된 inductive bias에 대해서 부족한..
자연어처리/논문리뷰 2023. 8. 9. 17:30
이전 Prev 1 Next 다음