BERT (Bidirectional Encoder Representations from Transformers)

Table of Contents

🔹 BERT란?

BERT(Bidirectional Encoder Representations from Transformers)는
✅ Google이 개발한 최신 자연어 처리(NLP) 모델이에요.
✅ 문장의 앞뒤를 모두 참고하는 “양방향(Bidirectional)” 모델!
(GPT는 생성 방향에 특화, BERT는 이해하고 생성하는 양방향 특화 )
✅ 번역, 챗봇, 검색엔진 등에 사용되는 AI 언어 모델이에요. 🚀

🔹 기존 모델(RNN, LSTM)과 BERT의 차이점

과거에는 RNN, LSTM, GRU 같은 모델이 문장을 처리했어요.
하지만 이 모델들은 문장을 한 방향(왼쪽 → 오른쪽)으로만 읽어서 한계가 있었어요.

💬 예제 (다음 단어 예측)

“나는 밥을 ___.”

✅ RNN/LSTM → 앞에서부터 읽고 “먹었다” 예측 (한쪽 방향)
✅ BERT → 앞뒤를 모두 참고해서 더 정확한 예측!

💡 즉, BERT는 문장의 맥락을 양쪽 방향에서 모두 학습할 수 있어요!

🔹 BERT의 핵심 특징

✅ 1. 양방향 학습 (Bidirectional)

기존 모델(RNN, LSTM)은 문장을 한 방향으로만 읽음
BERT는 앞뒤 단어를 모두 참고해서 문장을 이해함!

📌 예제

“나는 [MASK]를 먹었다.”

RNN → 앞에서부터만 읽고 예측 (“밥”이라고 추측)
BERT → 앞뒤 문맥을 모두 보고 더 정확한 단어(“사과”, “김치”, “햄버거” 등) 예측 가능!

✅ 2. 사전 훈련(Pretraining) + 미세 조정(Fine-tuning)

BERT는 인터넷에서 엄청나게 많은 텍스트를 먼저 학습(Pretraining)한 후,
특정 작업(번역, 감정 분석 등)에 맞게 추가 학습(Fine-tuning) 가능!
즉, 한 번 훈련한 후 여러 분야에 응용 가능!

📌 예제
✔ Pretraining (기본 학습) → 위키백과, 뉴스, 책 등으로 미리 학습
✔ Fine-tuning (추가 학습) → 감정 분석, 번역, 질의응답 같은 특정 작업에 맞게 추가 학습

✅ 3. MLM (Masked Language Model)

BERT는 문장의 일부 단어를 가리고(masking), 이 단어를 맞추는 방식으로 학습
즉, **”빈칸 채우기 문제”**를 푸는 것처럼 훈련됨!

📌 예제

“나는 [MASK]를 마셨다.”

BERT는 “커피”, “우유”, “주스” 등 여러 단어를 예측 가능!

💡 이 덕분에 BERT는 문맥을 더 깊이 이해할 수 있어요!

🔹 BERT가 잘하는 일!

✔ 검색 엔진 → Google 검색 개선 (질문을 더 정확하게 이해함)
✔ 번역 → 더 자연스러운 번역 가능
✔ 감정 분석 → 영화 리뷰, SNS 글에서 “긍정/부정” 감정 분석
✔ 질의응답(Q&A) → 질문을 이해하고 정확한 답변 제공

🔹 BERT vs 기존 NLP 모델 비교

모델	방향성	특징
RNN	한 방향	앞에서부터 한 단어씩 읽음
LSTM	한 방향 (장기 기억 가능)	문장 길어도 일부 기억 가능
GPT	한 방향	오른쪽 방향(미래 예측 X)
BERT	양방향	앞뒤 문맥을 모두 사용해 이해력 최고!

🔹 결론 (BERT가 NLP에서 최고인 이유!)

✅ BERT는 “양방향”으로 문장을 이해하는 최신 AI 모델!
✅ 기본적으로 학습된 후, 추가 학습하면 번역, 감정 분석, 검색 등 모든 분야에 적용 가능!
✅ Google 검색, 번역, 챗봇, 질의응답 시스템에 널리 사용 중! 🚀

✔ 짧은 문장 처리 → RNN, LSTM 사용 가능
✔ 긴 문장 번역, 검색, 질의응답 → BERT가 최고! 🎯

GPT와 BERT는 완전히 다른 모델이에요.
둘 다 자연어 처리(NLP) 모델이지만, 학습 방식과 사용 목적이 다릅니다! 🚀

🔹 GPT vs BERT 핵심 차이점

모델	방향성	특징	사용 목적
GPT (Generative Pre-trained Transformer)	한 방향 (왼쪽 → 오른쪽)	“다음 단어 예측” 방식으로 학습	텍스트 생성, 대화형 AI (ChatGPT 등)
BERT (Bidirectional Encoder Representations from Transformers)	양방향 (왼쪽 ↔ 오른쪽)	문장의 앞뒤 문맥을 모두 활용	검색, 질의응답(Q&A), 감정 분석