딥러닝
4편
딥러닝 · 시퀀스 모델링 · 상태 공간 모델 · GPU 최적화 · 논문 리뷰
Mamba: 선택적 상태 공간 모델로 트랜스포머를 넘어선 선형 시간 시퀀스 모델링
2026. 9. 2.
연구 배경 및 핵심 문제 의식 대규모 언어 모델의 사실상 표준으로 자리 잡은 트랜스포머는 강력한 표현력을 자랑하지만, 시퀀스 길이 n에 대해 O(n²)의 어텐션 연산 복잡도라는 구조적 한계를 안고 있다. 이 이차 복잡도는 컨텍스트 창이 수만 토큰을 넘어서는 순간 학습과 추론 모두에서 치명적인 병목으로 작용한다. 이를 극복
딥러닝 · 트랜스포머 · GPU 최적화 · 논문 리뷰
FlashAttention: GPU 메모리 계층을 이해한 최초의 IO 인식 정확 어텐션 알고리즘
2026. 9. 2.
연구 배경 및 핵심 문제 의식 트랜스포머의 은 시퀀스 길이 N에 대해 시간과 메모리 모두 O(N²)의 복잡도를 가진다. 시퀀스가 길어질수록 이 이차적 증가는 빠르게 실용적 한계에 봉착하며, 특히 긴 문서, 고해상도 이미지, 장기 시계열 데이터를 다루는 태스크에서 심각한 병목이 된다. 이 문제를 해결하기 위해 수많은 방법들
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
순환도 합성곱도 없다: 트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp