인터랙티브 도식 랩

AI 모델 아키텍처 및 GPU 하드웨어 병목 실측 시뮬레이터 카탈로그

계산 그래프 & 텐서 데이터플로우 엔진

Attention Is All You Need (Vaswani et al., 2017)

토큰 간 의미론적 유사도( $Q K^T$ )를 계산하고 Value 표현에 소프트맥스 가중치를 적용

시퀀스 길이 (

N

)512

64512 (Default)2048

헤드 차원 (

d_k

)64

3264 (Default)256

대상 수학 수식 및 현재 연산 항Step 1 / 5

\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V

Key 행렬 전치

내적 계산을 위해 [ $N \times d_k$ ] 크기의 Key 행렬을 [ $d_k \times N$ ] 크기로 전치

현재 단계 연산식

K^T = \text{Transpose}(K)

K

[512 \times 64]

512 Rows × 64 Cols

transpose0 FLOPs (IO/Reshape)

K_T

[64 \times 512]

K^T

[

d_k \times N

]

총 하드웨어 연산량:68.16 MFLOPs

Output:

[512 \times 64]

정의

딥러닝 모델의 복합 수학 수식을 방향성 비순환 그래프(DAG)로 추상화하여, 텐서를 데이터 흐름 엣지로 연결하고 연산자 간의 자동 미분(Autograd) 의존성을 추적하는 계산 모델.

핵심 동작 원리

한계 및 단점

비교

단순 텍스트 수식과 달리 연산 간의 독립성을 명시하므로 하드웨어 컴파일러(XLA, TensorRT)가 자동 병렬화를 수행할 수 있음.