시퀀스 모델링

Mamba: 선택적 상태 공간 모델로 트랜스포머를 넘어선 선형 시간 시퀀스 모델링

2026. 9. 2.

연구 배경 및 핵심 문제 의식 대규모 언어 모델의 사실상 표준으로 자리 잡은 트랜스포머는 강력한 표현력을 자랑하지만, 시퀀스 길이 n에 대해 O(n²)의 어텐션 연산 복잡도라는 구조적 한계를 안고 있다. 이 이차 복잡도는 컨텍스트 창이 수만 토큰을 넘어서는 순간 학습과 추론 모두에서 치명적인 병목으로 작용한다. 이를 극복