데이터 전처리 — 텍스트 데이터 인코딩 대표적인 인코딩 ASCII ISO 8859 UTF-8 : 유니코드 EUC-KR CP949 데이터 파일 다루기 master.csv rss_30100041.xml 윈도우에서는 인코딩을 지정해주어야 합니다 인코딩 감지 인코딩 변환 인코딩 일괄 변환 참고 엑셀에서 utf-8 CSV 읽기 윈도우 엑셀은 csv의 기본 인코딩을 cp949(EUC-KR)로 가정 Codepage 변경 요약 출처 : https://financedata.notion.site/8c858b09203e4404a3b0d1de426dc078
데이터 준비 결측치 처리 결측치 처리: 개수 확인 결측치 처리: 데이터 혹은 컬럼 삭제 결측치 처리: 대체 (imputation) Outlier 탐지 3표준편차 와 IQR 방법 Outlier 처리: QR 이용하는 방법 Outlier 처리: IQR 이용하는 방법 잡음값 처리 데이터 평활화 잡음값 처리: 비닝 데이터 변환 (Data Transformation) 정규화(Normalization) vs 표준화(Standardization) 정규화 (Normalization) 표준화 (Standardization) 우측 그림 설명 … Read more
데이터 전처리 가장 비용이 많이 소요되는 작업 Data preparation: 80% of the work of data scientists forbes.com https://goo.gl/h2DtR5 “데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는데 쓰인다.” — kaggle 창립자 Anthony Goldbloom 데이터셋 (Dataset) 표 (table) 데이터셋(dataset), 인스턴스 집합(set of instance) 행 (row) 관측치(observed value), 레코드(record), 샘플(sample), 개체(instance) 열 (column) 특성(feature), 속성(attribute), … Read more
