트랜스포머
3편
딥러닝 · 트랜스포머 · GPU 최적화 · 논문 리뷰
FlashAttention: GPU 메모리 계층을 이해한 최초의 IO 인식 정확 어텐션 알고리즘
2026. 9. 2.
연구 배경 및 핵심 문제 의식 트랜스포머의 은 시퀀스 길이 N에 대해 시간과 메모리 모두 O(N²)의 복잡도를 가진다. 시퀀스가 길어질수록 이 이차적 증가는 빠르게 실용적 한계에 봉착하며, 특히 긴 문서, 고해상도 이미지, 장기 시계열 데이터를 다루는 태스크에서 심각한 병목이 된다. 이 문제를 해결하기 위해 수많은 방법들
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
순환도 합성곱도 없다: 트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp