제134회 정보관리기술사 3교시 1번 — LLM 파인튜닝 기법 비교(LoRA·QLoRA·Prompt Tuning)

사전 학습된 대규모 언어모델(LLM)을 특정 도메인·태스크에 최적화하는 파인튜닝(Fine-Tuning) 기법은 Full Fine-Tuning부터 PEFT 계열(LoRA·QLoRA·Prompt Tuning)까지 다양하게 발전하고 있습니다.

1-1. 사전 학습 vs 파인튜닝

• 사전 학습(Pre-Training): 범용 지식 습득 — 대규모 코퍼스로 수백억 파라미터 학습, 막대한 GPU·비용 필요
• 파인튜닝(Fine-Tuning): 특정 태스크 적응 — 비교적 소규모 도메인 데이터로 사전 학습 모델 보정

2-1. 개념 및 특징

모든 모델 파라미터를 도메인 데이터로 재학습합니다. 성능은 가장 높지만 모델 전체를 GPU에 올려야 하므로 LLaMA-2 70B 기준 수백 GB VRAM이 필요합니다.

3-1. LoRA (Low-Rank Adaptation)

사전 학습된 가중치 행렬 W를 동결(freeze)하고, 변화량 ΔW를 두 개의 저랭크(Low-Rank) 행렬 A, B의 곱으로 근사합니다.

3-2. QLoRA (Quantized LoRA)

기반 모델을 4-bit NF4(NormalFloat4) 양자화(Quantization)로 압축한 뒤, LoRA 어댑터는 BFloat16 정밀도로 학습합니다. 단일 소비자용 GPU(24GB)에서도 70B 모델 파인튜닝이 가능합니다.

3-3. Prompt Tuning / Prefix Tuning

4-1. InstructGPT 학습 3단계

• 1단계 SFT: 사람이 작성한 (프롬프트, 응답) 쌍으로 지도학습
• 2단계 RM(Reward Model): 사람의 선호 순위 평가 데이터로 보상 모델 학습
• 3단계 RLHF PPO: PPO(Proximal Policy Optimization)로 보상 최대화 학습