[문제] 트랜스포머(Transformer) 아키텍처의 구성 요소인 셀프 어텐션(Self-Attention)과 멀티헤드 어텐션(Multi-Head Attention), 위치 인코딩(Positional Encoding)의 개념과 역할을 설명하시오.
1. Transformer 아키텍처 개요
Transformer는 Vaswani et al.의 “Attention Is All You Need”(2017)에서 제안된 신경망 아키텍처로, RNN·LSTM 없이 어텐션 메커니즘만으로 시퀀스를 처리한다. BERT·GPT 등 모든 현대 LLM의 기반이다.
2. 핵심 구성 요소
| 구성 요소 | 개념 | 수식/원리 |
|---|---|---|
| 셀프 어텐션 | 입력 시퀀스 내 각 토큰이 다른 토큰과의 관계를 학습. 장거리 의존성 포착 | Attention(Q,K,V) = softmax(QKT/√dk)V. Q(Query)·K(Key)·V(Value)로 분해 |
| 멀티헤드 어텐션 | 여러 어텐션 헤드가 다양한 관점에서 병렬로 어텐션 수행 → 결과 연결 | h개 헤드가 각각 다른 선형 투영으로 Q·K·V 변환 후 어텐션 → Concat → 선형 변환 |
| 위치 인코딩 | 어텐션은 순서 정보가 없으므로 토큰 위치를 임베딩에 추가하여 순서 인식 | sin/cos 함수 기반 고정 인코딩 또는 학습 가능한 위치 임베딩(RoPE, ALiBi) |
핵심 키워드: Transformer, Self-Attention, Multi-Head Attention, QKV, Positional Encoding, RoPE, BERT, GPT
Transformer의 셀프 어텐션은 RNN의 순차 처리를 병렬화하고 장거리 의존성을 포착하며, 멀티헤드는 다양한 관계를 동시에 학습한다. 위치 인코딩으로 순서 정보를 보완하여 GPT·BERT 등 모든 현대 LLM의 기반 아키텍처가 되었다.