자연어 처리
2편
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
순환도 합성곱도 없다: 트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp