GPU 최적화
2편
딥러닝 · 시퀀스 모델링 · 상태 공간 모델 · GPU 최적화 · 논문 리뷰
Mamba: 선택적 상태 공간 모델로 트랜스포머를 넘어선 선형 시간 시퀀스 모델링
2026. 9. 2.
연구 배경 및 핵심 문제 의식 대규모 언어 모델의 사실상 표준으로 자리 잡은 트랜스포머는 강력한 표현력을 자랑하지만, 시퀀스 길이 n에 대해 O(n²)의 어텐션 연산 복잡도라는 구조적 한계를 안고 있다. 이 이차 복잡도는 컨텍스트 창이 수만 토큰을 넘어서는 순간 학습과 추론 모두에서 치명적인 병목으로 작용한다. 이를 극복
딥러닝 · 트랜스포머 · GPU 최적화 · 논문 리뷰
FlashAttention: GPU 메모리 계층을 이해한 최초의 IO 인식 정확 어텐션 알고리즘
2026. 9. 2.
연구 배경 및 핵심 문제 의식 트랜스포머의 은 시퀀스 길이 N에 대해 시간과 메모리 모두 O(N²)의 복잡도를 가진다. 시퀀스가 길어질수록 이 이차적 증가는 빠르게 실용적 한계에 봉착하며, 특히 긴 문서, 고해상도 이미지, 장기 시계열 데이터를 다루는 태스크에서 심각한 병목이 된다. 이 문제를 해결하기 위해 수많은 방법들