제135회 정보관리기술사 4교시 1번 — XAI 설명가능한 AI(LIME·SHAP·Grad-CAM)와 AI 편향

정보관리기술사 · 135회 4교시 · 1번 · 배점 25점

Table of Contents

제135회 정보관리기술사 4교시 1번

서술형 | 25점

[문제] 설명가능한 AI(XAI: Explainable AI)의 개념과 필요성을 설명하고, 주요 XAI 기법(LIME, SHAP, Grad-CAM, Attention Visualization)의 원리와 적용 분야를 비교하시오. 또한 AI 모델의 공정성(Fairness) 확보를 위한 편향(Bias) 유형과 완화 기법, EU AI Act에서의 설명 의무 요건을 논하시오.

1. XAI 개념과 필요성

XAI(Explainable AI)는 AI 모델의 예측 결과에 대해 인간이 이해할 수 있는 설명을 제공하는 기술이다. 딥러닝 모델의 블랙박스 특성으로 인해 의사결정 근거를 요구하는 고위험 분야(의료·금융·법률·채용)에서 필수 요소다.

필요성: EU AI Act 고위험 AI 설명 의무, GDPR ‘자동화 의사결정 설명 요구권’, 의료 AI 오진 책임 소재, AI 편향 탐지 및 신뢰 구축

2. 주요 XAI 기법 비교

기법	원리	특성	적용 분야
LIME (Local Interpretable Model-agnostic Explanations)	특정 예측 주변에서 입력 변형 → 단순한 대리 모델(Surrogate)로 근사 설명	모델 무관(Agnostic), 로컬 설명, 다양한 데이터 타입	텍스트·이미지·표형 데이터 분류
SHAP (SHapley Additive exPlanations)	게임 이론의 Shapley 값으로 각 피처가 예측에 기여한 정도를 수학적으로 계산	이론적 엄밀성, 전역·로컬 설명 모두 가능, 일관성 보장	신용 심사, 의료 진단, 피처 중요도
Grad-CAM (Gradient-weighted CAM)	CNN 마지막 합성곱 레이어의 그래디언트를 이용해 예측에 중요한 이미지 영역 시각화	이미지 특화, 직관적 히트맵	의료 영상(X-ray·CT), 자율주행 객체 인식
Attention Visualization	Transformer 어텐션 가중치를 시각화하여 모델이 주목한 토큰·위치 표시	NLP·Vision Transformer에 자연스럽게 내장	텍스트 감성 분석, 기계 번역, 질의응답

3. AI 편향(Bias) 유형과 완화 기법

편향 유형	설명	완화 기법
역사적 편향	사회 차별이 학습 데이터에 반영 (예: 특정 인종 채용 거절 이력)	데이터 재균형(Resampling), 레이블 재조정
표현 편향	특정 그룹의 데이터가 과소/과대 표현	Oversampling(SMOTE), 합성 데이터 생성
측정 편향	피처 측정 방식이 그룹에 따라 다른 품질	공정성 제약 조건 학습(Adversarial Debiasing)
평가 편향	정확도 집계 지표가 하위 그룹 불평등 은폐	그룹별 정확도·FPR·FNR 별도 측정, 공정성 메트릭(Demographic Parity, Equalized Odds)

4. EU AI Act 설명 의무

고위험 AI: 의사결정 근거 설명 제공, 영향받은 개인의 설명 요청권 보장
GPAI 모델: 학습 데이터 목록, 성능 평가, 위험 완화 조치 문서화 의무
AI 투명성: AI임을 명시, 딥페이크 표시, 사용자에게 AI 사용 고지

[ 결론 ]

XAI는 SHAP·LIME·Grad-CAM·Attention 기법으로 블랙박스 AI 모델의 설명을 제공하고, AI 편향을 탐지·완화하여 공정한 AI 시스템을 구현한다. EU AI Act와 GDPR 준수를 위해 고위험 AI에서 설명가능성과 공정성은 선택이 아닌 의무 요건이다.

zerg96