[문제] 강화학습(Reinforcement Learning)의 개념과 주요 구성 요소(에이전트, 환경, 상태, 행동, 보상)를 설명하고, Q-러닝과 정책 경사법(Policy Gradient)의 차이점, 그리고 RLHF(Reinforcement Learning from Human Feedback)의 LLM 적용 방법을 서술하시오.
1. 강화학습 개념과 구성 요소
강화학습(RL)은 에이전트가 환경과 상호작용하며 보상 최대화를 목표로 행동 정책을 학습하는 ML 패러다임이다.
| 구성 요소 | 설명 |
|---|---|
| 에이전트(Agent) | 의사결정 주체. 상태를 관찰하고 행동 선택 |
| 환경(Environment) | 에이전트가 상호작용하는 외부 세계 |
| 상태(State, s) | 현재 환경 상황 표현 |
| 행동(Action, a) | 에이전트가 취할 수 있는 선택지 |
| 보상(Reward, r) | 행동에 대한 즉각적인 피드백 신호 |
2. Q-러닝 vs 정책 경사법
| 구분 | Q-Learning | Policy Gradient |
|---|---|---|
| 학습 대상 | Q함수 Q(s,a): 상태-행동 가치 학습 | 정책 π(a|s) 직접 최적화 |
| 적용 | 이산 행동 공간 (DQN, Atari 게임) | 연속 행동 공간 (PPO, SAC, 로봇 제어) |
| 대표 알고리즘 | DQN, Double DQN, Dueling DQN | REINFORCE, PPO, A3C |
3. RLHF (Reinforcement Learning from Human Feedback)
RLHF는 LLM을 인간의 선호도에 맞게 정렬(Alignment)하는 기법으로, ChatGPT·Claude·Gemini 모두 적용했다.
- Step 1: 사전학습 LLM을 지도학습(SFT)으로 파인튜닝
- Step 2: 인간 평가자가 응답 쌍에 선호 순위 부여 → 보상 모델(Reward Model) 학습
- Step 3: PPO(Proximal Policy Optimization)로 보상 모델 기준 LLM 정책 최적화
핵심 키워드: 강화학습, Q-Learning, Policy Gradient, RLHF, PPO, 보상 모델, SFT, Alignment
강화학습의 에이전트-환경-보상 구조에서 Q-러닝은 가치 기반, 정책 경사법은 정책 직접 최적화에 강점이 있다. RLHF는 인간 피드백을 보상 신호로 변환하여 LLM이 유해하지 않고 도움이 되는 응답을 생성하도록 정렬한다.