Transformer는 Vaswani et al.의 “Attention Is All You Need”(2017)에서 제안된 신경망 아키텍처로, RNN·LSTM 없이 어텐션 메커니즘만으로 시퀀스를 처리한다. BERT·GPT 등 모든 현대 LLM의 기반이다.
| 구성 요소 | 개념 | 수식/원리 |
|---|---|---|
| 셀프 어텐션 | 입력 시퀀스 내 각 토큰이 다른 토큰과의 관계를 학습. 장거리 의존성 포착 | Attention(Q,K,V) = softmax(QKT/√dk)V. Q(Query)·K(Key)·V(Value)로 분해 |
| 멀티헤드 어텐션 | 여러 어텐션 헤드가 다양한 관점에서 병렬로 어텐션 수행 → 결과 연결 | h개 헤드가 각각 다른 선형 투영으로 Q·K·V 변환 후 어텐션 → Concat → 선형 변환 |
| 위치 인코딩 | 어텐션은 순서 정보가 없으므로 토큰 위치를 임베딩에 추가하여 순서 인식 | sin/cos 함수 기반 고정 인코딩 또는 학습 가능한 위치 임베딩(RoPE, ALiBi) |
요양원 선택 전 반드시 확인해야 할 체크리스트를 공개합니다. 공식 평가 자료 조회법, 방문 시 확인…
공공기관 채용 비리의 실태와 피해 지원자의 대응법을 정리했습니다. 채용 비리 신고 방법, 공익신고자 보호제도, 취준생…
주식 손실을 세금 절약에 활용하는 합법적 방법을 공개합니다. 해외주식 손익통산, ISA 계좌 활용, 연금계좌 절세까지…
배달이 예상 시간보다 크게 늦으면 취소·환불을 요청할 수 있습니다. 배달앱별 지연 취소 방법과 잘못 배달됐을…
통신비 절약의 핵심은 요금제 최적화입니다. 내 데이터 사용량 확인법, 알뜰폰 전환 비교, 위약금 없이 요금제…