논문 리뷰
5편
딥러닝 · 시퀀스 모델링 · 상태 공간 모델 · GPU 최적화 · 논문 리뷰
Mamba: 선택적 상태 공간 모델로 트랜스포머를 넘어선 선형 시간 시퀀스 모델링
2026. 9. 2.
연구 배경 및 핵심 문제 의식 대규모 언어 모델의 사실상 표준으로 자리 잡은 트랜스포머는 강력한 표현력을 자랑하지만, 시퀀스 길이 n에 대해 O(n²)의 어텐션 연산 복잡도라는 구조적 한계를 안고 있다. 이 이차 복잡도는 컨텍스트 창이 수만 토큰을 넘어서는 순간 학습과 추론 모두에서 치명적인 병목으로 작용한다. 이를 극복
딥러닝 · 트랜스포머 · GPU 최적화 · 논문 리뷰
FlashAttention: GPU 메모리 계층을 이해한 최초의 IO 인식 정확 어텐션 알고리즘
2026. 9. 2.
연구 배경 및 핵심 문제 의식 트랜스포머의 은 시퀀스 길이 N에 대해 시간과 메모리 모두 O(N²)의 복잡도를 가진다. 시퀀스가 길어질수록 이 이차적 증가는 빠르게 실용적 한계에 봉착하며, 특히 긴 문서, 고해상도 이미지, 장기 시계열 데이터를 다루는 태스크에서 심각한 병목이 된다. 이 문제를 해결하기 위해 수많은 방법들
논문 리뷰 · LLM 에이전트 · 프롬프트 최적화 · 인과 추론
죽은 컨텍스트 절제: ContextCite와 AttriBoT으로 에이전트 프롬프트 48% 다이어트하기
2026. 9. 1.
1. 연구 배경 및 프롬프트 인플레이션의 함정 자율 AI 에이전트(Tool using Agents)를 프로덕션에 배포할 때, 엔지니어들이 겪는 가장 흔한 실패 패턴은 프롬프트 인플레이션(Prompt Inflation) 이다. 에이전트가 예외 상황에서 길을 잃지 않도록 수많은 매뉴얼, 방대한 시스템 지침, 으로 가져온 5~
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp
논문 리뷰 · 자연어 처리 · 딥러닝 · 기계 번역 · 트랜스포머
순환도 합성곱도 없다: 트랜스포머가 어텐션만으로 세상을 바꾼 방법
2026. 8. 27.
1. 연구 배경 및 핵심 문제 의식 2017년 이전까지 자연어 처리의 시퀀스 변환 과제는 , 특히 와 이 장악하고 있었다. 위에 어텐션 메커니즘을 얹은 이 모델들은 당시 기계 번역의 사실상 표준이었다. 그러나 이 패러다임에는 태생적인 한계가 존재했다. "Recurrent models typically factor comp