제134회 정보관리기술사 3교시 1번 — LLM 파인튜닝 기법 비교(LoRA·QLoRA·Prompt Tuning)

Table of Contents

제134회 정보관리기술사 3교시 1번 | LLM 파인튜닝 기법 비교

사전 학습된 대규모 언어모델(LLM)을 특정 도메인·태스크에 최적화하는 파인튜닝(Fine-Tuning) 기법은 Full Fine-Tuning부터 PEFT 계열(LoRA·QLoRA·Prompt Tuning)까지 다양하게 발전하고 있습니다.

1. 파인튜닝 필요성 및 유형

1-1. 사전 학습 vs 파인튜닝

사전 학습(Pre-Training): 범용 지식 습득 — 대규모 코퍼스로 수백억 파라미터 학습, 막대한 GPU·비용 필요
파인튜닝(Fine-Tuning): 특정 태스크 적응 — 비교적 소규모 도메인 데이터로 사전 학습 모델 보정

2. Full Fine-Tuning

2-1. 개념 및 특징

모든 모델 파라미터를 도메인 데이터로 재학습합니다. 성능은 가장 높지만 모델 전체를 GPU에 올려야 하므로 LLaMA-2 70B 기준 수백 GB VRAM이 필요합니다.

장점: 최고 성능, 모든 레이어 최적화
단점: 막대한 GPU 메모리·비용, 원본 지식 망각(Catastrophic Forgetting) 위험

3. PEFT (Parameter-Efficient Fine-Tuning)

3-1. LoRA (Low-Rank Adaptation)

사전 학습된 가중치 행렬 W를 동결(freeze)하고, 변화량 ΔW를 두 개의 저랭크(Low-Rank) 행렬 A, B의 곱으로 근사합니다.

수식: W’ = W + ΔW = W + BA (B: d×r, A: r×k, r << min(d,k))
학습 파라미터 비율: 전체의 0.1~1% 수준으로 대폭 감소
추론 시: A·B를 W에 병합(merge)하여 추가 지연 없음

구분	Full FT	LoRA
학습 파라미터	100%	0.1~1%
GPU 메모리	매우 높음	크게 감소
학습 속도	느림	빠름
성능	최고	Full FT에 근접

3-2. QLoRA (Quantized LoRA)

기반 모델을 4-bit NF4(NormalFloat4) 양자화(Quantization)로 압축한 뒤, LoRA 어댑터는 BFloat16 정밀도로 학습합니다. 단일 소비자용 GPU(24GB)에서도 70B 모델 파인튜닝이 가능합니다.

핵심 기술: NF4 양자화 + Double Quantization + Paged Optimizer
효과: 70B 모델 기준 Full FT 대비 메모리 약 10배 절감

3-3. Prompt Tuning / Prefix Tuning

기법	방식	특징
Prompt Tuning	입력 앞에 학습 가능한 소프트 토큰(Soft Prompt) 추가	모델 파라미터 전혀 수정 안 함, 가장 경량
Prefix Tuning	각 Transformer 레이어의 Key·Value에 학습 가능한 Prefix 추가	Prompt Tuning보다 더 강력한 조정
IA3	활성화 함수에 학습 가능한 벡터 곱셈	LoRA보다 더 적은 파라미터

4. SFT (Supervised Fine-Tuning) + RLHF 파이프라인

4-1. InstructGPT 학습 3단계

1단계 SFT: 사람이 작성한 (프롬프트, 응답) 쌍으로 지도학습
2단계 RM(Reward Model): 사람의 선호 순위 평가 데이터로 보상 모델 학습
3단계 RLHF PPO: PPO(Proximal Policy Optimization)로 보상 최대화 학습

5. 파인튜닝 기법 종합 비교

기법	학습 파라미터	GPU 요구량	성능	적합 상황
Full FT	100%	매우 높음	최고	충분한 GPU 보유 기업
LoRA	~1%	보통	높음	A100 1~2장으로 7B~13B 모델
QLoRA	~1%	낮음	높음	RTX 3090/4090급 1장으로 70B
Prompt Tuning	극소	최소	중간	모델 동결 필수 환경

6. 결론

LLM 파인튜닝은 목표 성능·보유 인프라·비용에 따라 기법을 선택합니다. 일반 기업 환경에서는 QLoRA(소형 GPU)나 LoRA(A100급)가 비용 효율적이며, 최고 성능이 필요한 경우에만 Full FT를 적용합니다. RLHF는 대화형 AI 정렬(Alignment)을 위한 핵심 기법입니다.

zerg96