의사결정나무는 빅데이터분석기사 실기·필기에서 분류 모델의 기본기로 반복해서 나오는 주제이다. 계산이 간단해 지니 지수나 정보이득을 직접 구하게 하는 문제로 변형되기 쉽고, 서술형에서는 가지치기와 과적합을 함께 묻는다. 어떤 기준으로 “어디서 나눌지”를 정하는지가 핵심이다.
의사결정나무는 불순도가 가장 크게 줄어드는 질문으로 데이터를 나눈다
의사결정나무는 입력 변수에 대한 질문(예: 나이 30 이상인가)을 반복해 데이터를 규칙의 나무 모양으로 쪼개는 지도학습 모델이다. 분류와 회귀에 모두 쓰이고, 결과를 if-then 규칙으로 읽을 수 있어 설명력이 높다. 변수 스케일에 민감하지 않아 표준화가 꼭 필요하지 않다는 점도 장점이다. 핵심 용어는 뿌리 노드, 내부 노드, 잎 노드, 분할 기준, 불순도, 가지치기이다.
노드가 얼마나 섞여 있는지는 지니 지수와 엔트로피로 잰다
한 노드에 여러 클래스가 섞여 있을수록 불순도가 높다. 클래스 비율을 p라 하면 지니 지수는 1 – Σp², 엔트로피는 -Σp·log₂p이다. 두 값 모두 한 클래스만 남으면 0이 되고, 2클래스가 반반이면 지니는 0.5, 엔트로피는 1로 최대가 된다. 분할 후에는 자식 노드의 불순도를 표본 수 비율로 가중 평균해 부모와 비교한다. 부모 엔트로피에서 이 가중 평균을 뺀 값이 정보이득이다.
알고리즘마다 분할 기준과 분할 방식이 다르다
| 알고리즘 | 분할 기준 | 분할 방식 | 특징 |
|---|---|---|---|
| CART | 지니 지수(분류), 분산 감소(회귀) | 항상 이진 분할 | 분류·회귀 모두 가능, scikit-learn 기본 구현의 바탕 |
| ID3 | 정보이득 | 범주형 변수 중심 | 다지 분할, 값이 많은 변수를 선호하는 편향 |
| C4.5·C5.0 | 정보이득비 | 다지 분할, 연속형 처리 | 정보이득의 편향을 보정, 결측 처리 |
| CHAID | 카이제곱 통계량 | 다지 분할 | 범주형 중심, 통계적 유의성으로 분할 |
예시: 14건을 둘로 나눌 때 지니 감소 0.054, 정보이득 0.090이 나온다
구매 9건, 비구매 5건인 14건이 있다고 하자. 부모의 지니는 1 – (9/14)² – (5/14)² ≈ 0.459이고 엔트로피는 약 0.940이다. 어떤 변수로 나눠 왼쪽 6건(구매 5, 비구매 1), 오른쪽 8건(구매 4, 비구매 4)이 되었다면 자식의 지니는 각각 0.278과 0.500이다. 가중 지니는 (6/14)×0.278 + (8/14)×0.500 ≈ 0.405이므로 지니는 0.054 줄었다. 엔트로피는 각각 0.650과 1.000이라 정보이득은 0.940 – (6/14)×0.650 – (8/14)×1.000 ≈ 0.090이다. 이 값들은 파이썬으로 검산했다. 후보 변수가 여럿이면 이 감소폭이 가장 큰 분할을 고른다.
나무는 깊어질수록 과적합되므로 가지치기로 막는다
제한 없이 키우면 훈련 데이터를 외워 버려 새 데이터에서 성능이 떨어진다. 이를 막는 방법은 두 갈래이다. 사전 가지치기는 최대 깊이, 잎의 최소 표본 수, 분할 최소 표본 수 같은 한계를 미리 걸어 두는 방식이고, 사후 가지치기는 끝까지 키운 뒤 검증 성능에 기여하지 못하는 가지를 잘라낸다(CART의 비용 복잡도 가지치기가 대표적이다). 단일 나무는 데이터가 조금 바뀌어도 구조가 크게 변하는 불안정성이 있어, 배깅·랜덤 포레스트·부스팅 같은 앙상블로 보완한다.
답안에는 기준, 계산, 과적합 대책을 한 흐름으로 쓴다
서술형이라면 불순도 정의 → 분할 기준(지니·정보이득) → 알고리즘별 차이 → 과적합과 가지치기 순으로 쓰고, 계산 문제는 비율을 먼저 정리한 뒤 가중 평균을 빠뜨리지 않는다. 실무에서는 설명 가능성이 중요한 심사·고객 분류에 나무를 쓰되, 성능이 필요하면 앙상블로 넘어가며, 교차 검증으로 깊이를 정한다. 클래스가 불균형하면 정확도만 보지 말고 혼동행렬과 정밀도·재현율도 함께 확인한다.
시험 직전 한 줄 요약
의사결정나무는 지니 지수나 정보이득이 가장 크게 줄어드는 분할을 반복하고, 깊이 제한이나 사후 가지치기로 과적합을 막는다.
이 글은 학습용 정리이며 실제 시험 문항과 다를 수 있다. 출제 기준은 큐넷·KISA·한국데이터산업진흥원 등 공식 공지를 확인하라. 그림은 설명용 예시 데이터로 그린 개념도이며 실측 데이터가 아니다.