🔹 BERT란? BERT(Bidirectional Encoder Representations from Transformers)는✅ Google이 개발한 최신 자연어 처리(NLP) 모델이에요. ✅ 문장의 앞뒤를 모두 참고하는 "양방향(Bidirectional)" 모델!…
🔹 LSTM이란? LSTM(Long Short-Term Memory, 장기 기억 신경망)은 RNN의 한 종류로,기억력이 짧은 RNN의 단점을 개선한 모델이에요! ✅ RNN은 연속된 데이터를…
1. Pretraining 개요 Pretraining(사전 훈련) 은 대량의 텍스트 데이터를 기반으로 모델이 언어 패턴을 학습하는 초기 단계입니다. 이 과정에서 모델은 특정…