IT Stack

표준화와 정규화는 이름이 비슷해서 시험에서 서로 바꿔 내기 좋은 개념입니다. 더 중요한 것은 개념 구분이 아니라, 이를 어느 데이터에 대해 계산하느냐입니다. 이 부분을 잘못하면 모델 성능이 실제보다 좋게 나오는 데이터 누수가 생깁니다. 이 글의 구성 스케일링이 필요한 이유 표준화와 Min-Max 정규화 이상치가 있을 때의 차이 데이터 누수와 올바른 순서 스케일링은 왜 필요한가 키(cm)와 연봉(원)처럼 단위와 … Read more

분류 모델을 만들었다면 그다음은 얼마나 잘 맞히는지를 말해야 합니다. 이때 정확도 하나만 보면 전혀 쓸모없는 모델이 좋은 모델처럼 보이는 일이 생깁니다. 빅데이터분석기사 필기와 실기에서 평가지표가 반복되는 이유도 여기에 있습니다. 이 글의 구성 혼동행렬의 네 칸 숫자 하나로 보는 정확도의 함정 정밀도, 재현율, F1, 특이도 ROC 곡선과 AUC 혼동행렬의 네 칸 혼동행렬은 실제 값과 예측 값을 … Read more

데이터 분석에서 모델링보다 시간이 더 걸리는 작업이 전처리입니다. 빅데이터분석기사에서도 결측치와 이상치는 필기의 탐색 영역과 실기 작업형 양쪽에서 계속 등장하는 주제입니다. 이 글에서는 외우기보다 어떤 상황에 무엇을 고르는지 판단하는 기준을 중심으로 정리합니다. 이 글의 구성 결측치의 세 가지 유형과 처리 방법 이상치 탐지: IQR과 z-점수 수치 예시로 보는 평균과 중앙값의 차이 실무에서 놓치기 쉬운 점 결측치는 … Read more