제134회 정보관리기술사 1교시 2번 — 강화학습(Q-Learning·Policy Gradient)과 RLHF

1. 강화학습 개념과 구성 요소

강화학습(RL)은 에이전트가 환경과 상호작용하며 보상 최대화를 목표로 행동 정책을 학습하는 ML 패러다임이다.

2. Q-러닝 vs 정책 경사법

3. RLHF (Reinforcement Learning from Human Feedback)

RLHF는 LLM을 인간의 선호도에 맞게 정렬(Alignment)하는 기법으로, ChatGPT·Claude·Gemini 모두 적용했다.

• Step 1: 사전학습 LLM을 지도학습(SFT)으로 파인튜닝
• Step 2: 인간 평가자가 응답 쌍에 선호 순위 부여 → 보상 모델(Reward Model) 학습
• Step 3: PPO(Proximal Policy Optimization)로 보상 모델 기준 LLM 정책 최적화