앙상블 학습 정리, 배깅·랜덤 포레스트·부스팅 차이와 다수결로 정확도가 오르는 이유 (빅데이터분석기사)

단일 모델 하나를 끝까지 다듬는 것보다 여러 모델을 묶는 편이 성능이 안정적으로 오르는 경우가 많다. 앙상블 학습은 빅데이터분석기사 필기에서 배깅·부스팅의 차이를 묻는 형태로, 실기에서는 랜덤 포레스트나 그래디언트 부스팅을 실제로 돌리는 형태로 출제된다. 어떤 모델을 어떻게 묶느냐에 따라 줄어드는 오류의 종류가 다르다는 점이 핵심이다.

앙상블은 서로 다른 모델의 예측을 합쳐 오류를 상쇄한다

앙상블 학습은 여러 개의 약한 학습기를 결합해 하나의 강한 예측을 만드는 방법이다. 분류에서는 다수결이나 확률 평균, 회귀에서는 평균을 쓴다. 효과가 나려면 개별 모델이 우연보다는 잘 맞히고(정확도가 기준 이상), 서로 다른 실수를 해야 한다. 모델들이 똑같이 틀리면 합쳐도 달라지는 것이 없다.

정확도 0.7인 독립 분류기 세 개를 다수결로 묶으면 0.784가 된다

정확도 0.7인 분류기가 서로 독립이라고 가정하자. 3개 중 2개 이상이 맞히면 다수결도 맞으므로 확률은 3×0.7²×0.3 + 0.7³ = 0.441 + 0.343 = 0.784이다. 5개로 늘리면 0.837, 11개는 0.922, 21개는 0.974로 오른다(파이썬 검산). 다만 현실의 모델은 같은 데이터로 학습해 오류가 겹치므로 이 값은 상한에 가까운 이상적 수치이다. 그래서 앙상블은 모델 개수보다 다양성을 어떻게 만드느냐가 관건이다.

배깅·부스팅·스태킹은 다양성을 만드는 방식이 다르다

기법	원리	주로 줄이는 오류	한계
배깅(Bagging)	부트스트랩 표본을 여러 개 뽑아 병렬로 학습 후 다수결·평균	분산(과적합)	편향이 큰 모델은 개선이 작다
랜덤 포레스트	배깅 + 각 분할에서 무작위로 고른 변수 일부만 후보로 사용	분산, 나무 간 상관	해석성이 떨어지고 모델이 커진다
부스팅(AdaBoost, GBM 등)	이전 모델이 틀린 데이터에 가중을 주며 순차 학습	편향	순차 학습이라 느리고 잡음에 민감하다
스태킹	여러 모델의 예측을 메타 모델이 다시 학습	모델 조합 오류	구조가 복잡하고 누수 위험이 있다

랜덤 포레스트가 변수 일부만 후보로 쓰는 이유도 같은 맥락이다. 강한 변수 하나가 모든 나무의 윗부분을 차지하면 나무들이 비슷해져 평균의 효과가 줄어든다. 후보 변수를 제한하면 나무가 서로 달라지고, 부수적으로 변수 중요도(분할에서 불순도를 얼마나 줄였는가)를 계산할 수 있다. 부스팅에서는 학습률을 낮추고 트리 개수를 늘리면 과적합이 줄지만 학습 시간이 늘어난다.

부트스트랩 표본에는 원자료의 약 63%만 들어가고 나머지는 OOB가 된다

배깅은 n건에서 복원 추출로 n건을 뽑는다. 어떤 한 건이 한 번도 뽑히지 않을 확률은 (1 – 1/n)ⁿ이고, n이 커지면 1/e ≈ 0.368에 수렴한다(n=100이면 0.366). 따라서 표본의 약 36.8%는 각 나무의 학습에서 빠지며, 이 데이터를 OOB(Out-Of-Bag)라고 부른다. OOB로 따로 검증 데이터를 떼어 두지 않고도 일반화 성능을 추정할 수 있다는 점은 랜덤 포레스트의 실용적 이점이다.

답안에는 병렬과 순차, 분산과 편향의 대비를 중심에 둔다

서술형은 앙상블의 정의와 조건 → 배깅(병렬, 분산 감소)과 부스팅(순차, 편향 감소) 대비 → 랜덤 포레스트의 무작위 변수 선택 → 한계 순으로 쓴다. 실무에서는 표 형태 데이터에서 그래디언트 부스팅 계열(XGBoost, LightGBM 등)이 강한 성능을 내는 경우가 많지만, 과적합을 막으려면 학습률·트리 깊이·조기 종료를 교차 검증으로 정해야 한다. 기본 모델의 원리는 의사결정나무 정리를 함께 보면 이해가 빠르다.

시험 직전 한 줄 요약

배깅은 병렬 학습으로 분산을, 부스팅은 순차 학습으로 편향을 줄이고, 랜덤 포레스트는 배깅에 변수 무작위 선택을 더해 나무 간 상관을 낮춘다.

이 글은 학습용 정리이며 실제 시험 문항과 다를 수 있다. 출제 기준은 큐넷·KISA·한국데이터산업진흥원 등 공식 공지를 확인하라. 그림은 설명용 예시 데이터로 그린 개념도이며 실측 데이터가 아니다.