사전 학습된 대규모 언어모델(LLM)을 특정 도메인·태스크에 최적화하는 파인튜닝(Fine-Tuning) 기법은 Full Fine-Tuning부터 PEFT 계열(LoRA·QLoRA·Prompt Tuning)까지 다양하게 발전하고 있습니다.
1. 파인튜닝 필요성 및 유형
1-1. 사전 학습 vs 파인튜닝
- 사전 학습(Pre-Training): 범용 지식 습득 — 대규모 코퍼스로 수백억 파라미터 학습, 막대한 GPU·비용 필요
- 파인튜닝(Fine-Tuning): 특정 태스크 적응 — 비교적 소규모 도메인 데이터로 사전 학습 모델 보정
2. Full Fine-Tuning
2-1. 개념 및 특징
모든 모델 파라미터를 도메인 데이터로 재학습합니다. 성능은 가장 높지만 모델 전체를 GPU에 올려야 하므로 LLaMA-2 70B 기준 수백 GB VRAM이 필요합니다.
장점: 최고 성능, 모든 레이어 최적화
단점: 막대한 GPU 메모리·비용, 원본 지식 망각(Catastrophic Forgetting) 위험
단점: 막대한 GPU 메모리·비용, 원본 지식 망각(Catastrophic Forgetting) 위험
3. PEFT (Parameter-Efficient Fine-Tuning)
3-1. LoRA (Low-Rank Adaptation)
사전 학습된 가중치 행렬 W를 동결(freeze)하고, 변화량 ΔW를 두 개의 저랭크(Low-Rank) 행렬 A, B의 곱으로 근사합니다.
수식: W’ = W + ΔW = W + BA (B: d×r, A: r×k, r << min(d,k))
학습 파라미터 비율: 전체의 0.1~1% 수준으로 대폭 감소
추론 시: A·B를 W에 병합(merge)하여 추가 지연 없음
학습 파라미터 비율: 전체의 0.1~1% 수준으로 대폭 감소
추론 시: A·B를 W에 병합(merge)하여 추가 지연 없음
| 구분 | Full FT | LoRA |
|---|---|---|
| 학습 파라미터 | 100% | 0.1~1% |
| GPU 메모리 | 매우 높음 | 크게 감소 |
| 학습 속도 | 느림 | 빠름 |
| 성능 | 최고 | Full FT에 근접 |
3-2. QLoRA (Quantized LoRA)
기반 모델을 4-bit NF4(NormalFloat4) 양자화(Quantization)로 압축한 뒤, LoRA 어댑터는 BFloat16 정밀도로 학습합니다. 단일 소비자용 GPU(24GB)에서도 70B 모델 파인튜닝이 가능합니다.
핵심 기술: NF4 양자화 + Double Quantization + Paged Optimizer
효과: 70B 모델 기준 Full FT 대비 메모리 약 10배 절감
효과: 70B 모델 기준 Full FT 대비 메모리 약 10배 절감
3-3. Prompt Tuning / Prefix Tuning
| 기법 | 방식 | 특징 |
|---|---|---|
| Prompt Tuning | 입력 앞에 학습 가능한 소프트 토큰(Soft Prompt) 추가 | 모델 파라미터 전혀 수정 안 함, 가장 경량 |
| Prefix Tuning | 각 Transformer 레이어의 Key·Value에 학습 가능한 Prefix 추가 | Prompt Tuning보다 더 강력한 조정 |
| IA3 | 활성화 함수에 학습 가능한 벡터 곱셈 | LoRA보다 더 적은 파라미터 |
4. SFT (Supervised Fine-Tuning) + RLHF 파이프라인
4-1. InstructGPT 학습 3단계
- 1단계 SFT: 사람이 작성한 (프롬프트, 응답) 쌍으로 지도학습
- 2단계 RM(Reward Model): 사람의 선호 순위 평가 데이터로 보상 모델 학습
- 3단계 RLHF PPO: PPO(Proximal Policy Optimization)로 보상 최대화 학습
5. 파인튜닝 기법 종합 비교
| 기법 | 학습 파라미터 | GPU 요구량 | 성능 | 적합 상황 |
|---|---|---|---|---|
| Full FT | 100% | 매우 높음 | 최고 | 충분한 GPU 보유 기업 |
| LoRA | ~1% | 보통 | 높음 | A100 1~2장으로 7B~13B 모델 |
| QLoRA | ~1% | 낮음 | 높음 | RTX 3090/4090급 1장으로 70B |
| Prompt Tuning | 극소 | 최소 | 중간 | 모델 동결 필수 환경 |
6. 결론
LLM 파인튜닝은 목표 성능·보유 인프라·비용에 따라 기법을 선택합니다. 일반 기업 환경에서는 QLoRA(소형 GPU)나 LoRA(A100급)가 비용 효율적이며, 최고 성능이 필요한 경우에만 Full FT를 적용합니다. RLHF는 대화형 AI 정렬(Alignment)을 위한 핵심 기법입니다.