ROC 곡선과 AUC 해석, 임계값에 따라 TPR·FPR이 움직이는 방식과 AUC 0.96 계산 예시 (빅데이터분석기사)

분류 모델을 평가할 때 정확도 하나만 보면 판단이 어긋나는 경우가 많다. ROC 곡선과 AUC는 “임계값을 어디에 두든 모델이 양성과 음성을 얼마나 잘 가르는가”를 한 번에 보여 주는 지표라서 빅데이터분석기사 필기와 실기에 꾸준히 나온다. 혼동행렬을 이해했다면 한 단계 더 나아가는 주제이다.

ROC 곡선은 임계값을 움직이며 TPR과 FPR을 이어 그린 선이다

분류 모델은 보통 양성일 확률 점수를 내고, 임계값 이상이면 양성으로 판정한다. 임계값을 높이면 보수적이 되어 양성 판정이 줄고, 낮추면 공격적이 된다. 각 임계값마다 TPR = TP/(TP+FN)(재현율, 민감도)과 FPR = FP/(FP+TN)(1 – 특이도)을 구해 점으로 찍고 이으면 ROC 곡선이 된다. 가로축이 FPR, 세로축이 TPR이다. 곡선이 왼쪽 위 모서리에 가까울수록 좋은 모델이고, 대각선은 무작위 추측이다.

AUC는 곡선 아래 면적이며 양성이 음성보다 높은 점수를 받을 확률과 같다

AUC는 ROC 곡선 아래 면적으로 0.5(무작위)에서 1.0(완벽) 사이를 쓴다. 해석은 두 가지로 외워 둔다. 하나는 면적 그 자체이고, 다른 하나는 무작위로 뽑은 양성 한 건과 음성 한 건에서 양성의 점수가 더 클 확률이다. 두 정의가 같은 값을 준다는 점이 시험에서 설명 문제로 나온다.

예시: 양성 5건과 음성 5건에서 AUC는 0.96이다

점수를 내림차순으로 정렬했을 때 실제 라벨이 양성 4건 → 음성 1건 → 양성 1건 → 음성 4건 순서라고 하자(점수 0.95, 0.85, 0.80, 0.65, 0.60, 0.55, 0.45, 0.40, 0.30, 0.20). 임계값을 0.70으로 두면 양성 3건이 잡히고 거짓 양성은 0이라 TPR 0.6, FPR 0.0이다. 0.50으로 내리면 양성 5건을 모두 잡지만 음성 하나(점수 0.60)도 양성으로 판정해 TPR 1.0, FPR 0.2가 된다. 사다리꼴 면적을 합치면 0.96이다. 양성-음성 쌍 25개 중 양성 점수가 더 높은 쌍을 세어도 24개, 곧 0.96으로 같은 값이 나온다. 두 방법 모두 파이썬으로 검산했다. 참고로 이 10건은 설명용으로 만든 숫자이며 실제 모델의 결과가 아니다.

임계값을 0.35까지 더 낮추면 TPR은 그대로 1.0인데 FPR만 0.6으로 올라 손해만 늘어난다. 곡선에서 “더 올라갈 데가 없는데 오른쪽으로만 가는” 구간이 바로 이 경우이다. 그래서 곡선의 꺾이는 지점 부근에서 임계값을 고르는 경우가 많다.

지표별로 보는 관점과 한계가 다르다

지표	의미	장점	한계
정확도	전체 중 맞힌 비율	직관적	클래스 불균형에서 왜곡
정밀도·재현율·F1	임계값 하나에서의 성능	목적별 균형 조절	임계값에 따라 값이 변함
ROC·AUC	모든 임계값에서의 분리 능력	임계값과 무관하게 모델 비교	양성이 매우 드물면 낙관적일 수 있음
PR 곡선	재현율 대비 정밀도	불균형 데이터에서 민감	기준선이 양성 비율이라 해석에 주의

답안에는 곡선 읽는 법, 임계값 선택, 불균형 데이터의 한계를 함께 쓴다

서술형에서는 축 정의 → 곡선 해석 → AUC 의미 → 임계값 선택 순으로 쓴다. 실무에서는 AUC로 모델 후보를 고른 뒤, 업무 비용에 맞춰 임계값을 정한다. 예컨대 사기 탐지처럼 놓치는 비용이 크면 FPR이 늘더라도 TPR을 높이는 쪽을 택한다. 양성 비율이 아주 낮으면 AUC가 높아도 정밀도는 낮을 수 있으니 PR 곡선을 같이 본다. 기본 지표는 혼동행렬과 정밀도·재현율·F1 글에서 정리했다.

시험 직전 한 줄 요약

ROC는 임계값에 따른 TPR-FPR 곡선이고, AUC는 그 면적이자 양성이 음성보다 높은 점수를 받을 확률이며, 0.5는 무작위·1.0은 완벽이다.

이 글은 학습용 정리이며 실제 시험 문항과 다를 수 있다. 출제 기준은 큐넷·KISA·한국데이터산업진흥원 등 공식 공지를 확인하라. 그림은 설명용 예시 데이터로 그린 개념도이며 실측 데이터가 아니다.