Categories: 정보관리기술사

제134회 정보관리기술사 1교시 2번 — 강화학습(Q-Learning·Policy Gradient)과 RLHF

정보관리기술사 · 134회 1교시 · 2번 · 배점 10점

제134회 정보관리기술사 1교시 2번

단답형 | 10점
[문제] 강화학습(Reinforcement Learning)의 개념과 주요 구성 요소(에이전트, 환경, 상태, 행동, 보상)를 설명하고, Q-러닝과 정책 경사법(Policy Gradient)의 차이점, 그리고 RLHF(Reinforcement Learning from Human Feedback)의 LLM 적용 방법을 서술하시오.

1. 강화학습 개념과 구성 요소

강화학습(RL)은 에이전트가 환경과 상호작용하며 보상 최대화를 목표로 행동 정책을 학습하는 ML 패러다임이다.

구성 요소 설명
에이전트(Agent) 의사결정 주체. 상태를 관찰하고 행동 선택
환경(Environment) 에이전트가 상호작용하는 외부 세계
상태(State, s) 현재 환경 상황 표현
행동(Action, a) 에이전트가 취할 수 있는 선택지
보상(Reward, r) 행동에 대한 즉각적인 피드백 신호

2. Q-러닝 vs 정책 경사법

구분 Q-Learning Policy Gradient
학습 대상 Q함수 Q(s,a): 상태-행동 가치 학습 정책 π(a|s) 직접 최적화
적용 이산 행동 공간 (DQN, Atari 게임) 연속 행동 공간 (PPO, SAC, 로봇 제어)
대표 알고리즘 DQN, Double DQN, Dueling DQN REINFORCE, PPO, A3C

3. RLHF (Reinforcement Learning from Human Feedback)

RLHF는 LLM을 인간의 선호도에 맞게 정렬(Alignment)하는 기법으로, ChatGPT·Claude·Gemini 모두 적용했다.

  • Step 1: 사전학습 LLM을 지도학습(SFT)으로 파인튜닝
  • Step 2: 인간 평가자가 응답 쌍에 선호 순위 부여 → 보상 모델(Reward Model) 학습
  • Step 3: PPO(Proximal Policy Optimization)로 보상 모델 기준 LLM 정책 최적화
핵심 키워드: 강화학습, Q-Learning, Policy Gradient, RLHF, PPO, 보상 모델, SFT, Alignment
강화학습의 에이전트-환경-보상 구조에서 Q-러닝은 가치 기반, 정책 경사법은 정책 직접 최적화에 강점이 있다. RLHF는 인간 피드백을 보상 신호로 변환하여 LLM이 유해하지 않고 도움이 되는 응답을 생성하도록 정렬한다.

zerg96

Recent Posts

요양원 선택 전 반드시 확인해야 할 것들, 부모님 맡기기 전에 보세요

요양원 선택 전 반드시 확인해야 할 체크리스트를 공개합니다. 공식 평가 자료 조회법, 방문 시 확인…

2일 ago

공공기관 채용 비리, 내부에서 터져나온 충격 증언

공공기관 채용 비리의 실태와 피해 지원자의 대응법을 정리했습니다. 채용 비리 신고 방법, 공익신고자 보호제도, 취준생…

2일 ago

주식 손실 났을 때 세금 줄이는 방법, 아는 사람만 씁니다

주식 손실을 세금 절약에 활용하는 합법적 방법을 공개합니다. 해외주식 손익통산, ISA 계좌 활용, 연금계좌 절세까지…

2일 ago

음식 배달 늦으면 소비자가 취소할 수 있다, 몰랐던 권리

배달이 예상 시간보다 크게 늦으면 취소·환불을 요청할 수 있습니다. 배달앱별 지연 취소 방법과 잘못 배달됐을…

2일 ago

휴대폰 요금제 바꾸면 연 수십만원 절약, 지금 내 요금제 확인하세요

통신비 절약의 핵심은 요금제 최적화입니다. 내 데이터 사용량 확인법, 알뜰폰 전환 비교, 위약금 없이 요금제…

2일 ago

퇴직금 못 받았다면, 지금 당장 이렇게 하세요

퇴직 후 퇴직금을 받지 못했다면 즉시 노동부에 신고하세요. 지급 기한, 자격 요건, 신고 방법, 소액체당금…

2일 ago