Transformer는 Vaswani et al.의 “Attention Is All You Need”(2017)에서 제안된 신경망 아키텍처로, RNN·LSTM 없이 어텐션 메커니즘만으로 시퀀스를 처리한다. BERT·GPT 등 모든 현대 LLM의 기반이다.
| 구성 요소 | 개념 | 수식/원리 |
|---|---|---|
| 셀프 어텐션 | 입력 시퀀스 내 각 토큰이 다른 토큰과의 관계를 학습. 장거리 의존성 포착 | Attention(Q,K,V) = softmax(QKT/√dk)V. Q(Query)·K(Key)·V(Value)로 분해 |
| 멀티헤드 어텐션 | 여러 어텐션 헤드가 다양한 관점에서 병렬로 어텐션 수행 → 결과 연결 | h개 헤드가 각각 다른 선형 투영으로 Q·K·V 변환 후 어텐션 → Concat → 선형 변환 |
| 위치 인코딩 | 어텐션은 순서 정보가 없으므로 토큰 위치를 임베딩에 추가하여 순서 인식 | sin/cos 함수 기반 고정 인코딩 또는 학습 가능한 위치 임베딩(RoPE, ALiBi) |
코스피 8% 폭락, 서킷브레이커 발동, SK텔레콤 Claude AI 차단까지. 한국의 AI 레버리지 버블이 단 하루…
SNS 사진 1장으로 30초 만에 딥페이크 영상이 완성됩니다. 당신의 얼굴이 이미 범죄에 악용되고 있을 수…
SNS 사진 1장으로 30초 만에 딥페이크 영상이 완성됩니다. 당신의 얼굴이 이미 범죄에 악용되고 있을 수…
달러/원 환율이 급등하는 이유와 실생활 영향을 정리했습니다. 지금 당장 활용할 수 있는 환전·투자 대응 전략까지…
미래에셋·미래에셋벤처투자·미래에셋생명이 동반 급등한 이유는 스페이스X 상장 기대감입니다. 세 회사가 스페이스X와 어떻게 연결되어 있는지 상세히 분석했습니다.
스페이스X 상장이 계속 미뤄지는 진짜 이유를 파헤쳤습니다. 화성 계획, 스타링크 분리, 국방 계약... 머스크가 절대…