NumPy (Numerical Python)
NumPy 라이브러리 개요 NumPy (Numerical Python)는 파이썬에서 행렬이나 대규모 다차원 배열을 쉽게 처리하는 등 강력한 수치 계산을 지원하는 파이썬 라이브러리입니다. 다차원 배열 객체인 ndarray를 중심으로 다양한 수학적 연산을 수행할 수 … Read more
빅데이터분석기사
Colab (Google Colaboratory)
Colab(Google Colaboratory)은 Google에서 제공하는 클라우드 기반의 Jupyter Notebook 환경으로, 사용자가 별도의 환경 설정 없이 Python 코드를 실행하고 머신러닝 및 데이터 과학 작업을 수행할 수 있도록 도와줍니다. Colab의 주요 특징 Colab … Read more
셀레니움 웹 크롤링 방법
셀레니움을 활용하여 finviz사이트의 S&P 500 Treemap을 가져오는 크롤링하는 방법을 알려드리겠습니다. 혹시 셀레니움이 뭔지 모르신다면 이전 포스팅을 먼저 읽어보고 오시는것을 추천드립니다. 셀레니움 포스팅 ☞ 바로가기 Anaconda 설치 후 주피터 노트북에서 실습하거나 … Read more
SOM(Self-Organizing Map, 군집 분석 기법)
자기조직화 지도(SOM, Self-Organizing Map) 군집 분석 기법 1. SOM 개요 자기조직화 지도(SOM, Self-Organizing Map)는 인공신경망(Artificial Neural Network, ANN)의 한 종류로, 데이터의 고차원 정보를 저차원의 격자로 정리하는 비지도 학습(unsupervised learning) 방식의 … Read more
네이버 파이낸스 개별종목 재무제표 가져오기
네이버 파이낸스 개별종목 재무제표 네이버 증권의 개별종목 페이지에서 상세한 데이터를 제공합니다. https://finance.naver.com/item/coinfo.naver?code=005930&target=finsum_more 여기에는 개별종목의 재무데이터를 포함하고 있습니다. 이 재무제표를 엑셀에 붙여넣거나 가공하기가 쉽지 않습니다. FinanceDataReader 를 활용하여 개별 종목의 재무제표 … Read more
텍스트 데이터 인코딩 (데이터 전처리)
데이터 전처리 — 텍스트 데이터 인코딩 대표적인 인코딩 ASCII ISO 8859 UTF-8 : 유니코드 EUC-KR CP949 데이터 파일 다루기 master.csv rss_30100041.xml 윈도우에서는 인코딩을 지정해주어야 합니다 인코딩 감지 인코딩 변환 인코딩 … Read more
비닝과 회귀의 차이
비닝(Binning)과 회귀(Regression)의 차이 비닝(Binning)과 회귀(Regression)은 데이터 분석에서 자주 사용되는 기법이지만, 목적과 활용 방식이 다릅니다. 1. 비닝(Binning) 🔹 개념 비닝(Binning)은 연속형 데이터를 여러 개의 범주(구간, bin)로 나누는 과정입니다.즉, 연속적인 값을 이산적(Discrete) … Read more
데이터 전처리 실습
데이터 준비 결측치 처리 결측치 처리: 개수 확인 결측치 처리: 데이터 혹은 컬럼 삭제 결측치 처리: 대체 (imputation) Outlier 탐지 3표준편차 와 IQR 방법 Outlier 처리: QR 이용하는 방법 Outlier … Read more
데이터 전처리 개요
데이터 전처리 가장 비용이 많이 소요되는 작업 Data preparation: 80% of the work of data scientists forbes.com https://goo.gl/h2DtR5 “데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는데 쓰인다.” … Read more