빅데이터분석기사

일원분산분석(One-Way ANOVA, One-Way Analysis of Variance)

by
일원분산분석(One-Way ANOVA, One-Way Analysis of Variance)

일원분산분석(One-Way ANOVA, One-Way Analysis of Variance)은 한 개의 독립 변수(요인, Factor) 가 여러 그룹으로 나뉠 때, 각 그룹의 평균이 통계적으로 유의미한 차이가 있는지를 검정하는 방법입니다. 📌 주요 개념 🎯 적용 예시 📊 분석 과정 🔢 수식 (F-통계량) F=그룹 간 분산(Between-group variance)그룹 내 분산(Within-group variance)F = \frac{\text{그룹 간 분산(Between-group variance)}}{\text{그룹 내 분산(Within-group variance)}}F=그룹 내 분산(Within-group variance)그룹 간 분산(Between-group variance)​ 📌 Python 예제 import scipy.stats as statsimport pandas as … Read more

카이제곱 검정(Chi-Square Test)

by
카이제곱 검정(Chi-Square Test)

카이제곱 검정(Chi-Square Test)란? 카이제곱(χ²) 검정은 범주형 데이터(categorical data)에서 기대값과 관측값 간의 차이를 분석하는 통계적 검정 방법입니다. 주로 데이터가 특정 분포를 따르는지, 변수 간의 독립성이 있는지를 확인할 때 사용됩니다. 1. 카이제곱 검정의 종류 ① 적합성 검정 (Goodness-of-Fit Test) ② 독립성 검정 (Test for Independence) ③ 동질성 검정 (Test for Homogeneity) 2. 카이제곱 검정의 공식 카이제곱(χ²) 통계량은 … Read more

NumPy (Numerical Python)

by
NumPy (Numerical Python)

NumPy 라이브러리 개요 NumPy (Numerical Python)는 파이썬에서 행렬이나 대규모 다차원 배열을 쉽게 처리하는 등 강력한 수치 계산을 지원하는 파이썬 라이브러리입니다. 다차원 배열 객체인 ndarray를 중심으로 다양한 수학적 연산을 수행할 수 있습니다. 보통 넘파이라고 읽습니다. 🔹 NumPy 주요 기능 및 함수 정리 기능 설명 주요 함수 배열 생성 리스트나 튜플을 배열로 변환 np.array() 0으로 채운 배열 … Read more

Colab (Google Colaboratory)

by
Colab (Google Colaboratory)

Colab(Google Colaboratory)은 Google에서 제공하는 클라우드 기반의 Jupyter Notebook 환경으로, 사용자가 별도의 환경 설정 없이 Python 코드를 실행하고 머신러닝 및 데이터 과학 작업을 수행할 수 있도록 도와줍니다. Colab의 주요 특징 Colab 사용 예시 import numpy as npimport matplotlib.pyplot as plt# 난수 데이터 생성x = np.linspace(0, 10, 100)y = np.sin(x)# 그래프 출력plt.plot(x, y)plt.show() 이처럼 Google Colab은 데이터 … Read more

셀레니움 웹 크롤링 방법

by
셀레니움 웹 크롤링 방법

셀레니움을 활용하여 finviz사이트의 S&P 500 Treemap을 가져오는 크롤링하는 방법을 알려드리겠습니다. 혹시 셀레니움이 뭔지 모르신다면 이전 포스팅을 먼저 읽어보고 오시는것을 추천드립니다. 셀레니움 포스팅 ☞ 바로가기 Anaconda 설치 후 주피터 노트북에서 실습하거나 Colab에서 실습해보실 수 있습니다. finviz S&P 500 Treemap 데이터 크롤링 하기 https://finviz.com/map.ashx finbiz사이트는 유명한 미국 주식에 대한 실시간 정보를 편리하게 확인할 수 있습니다.그중 Maps 탭에서 … Read more

SOM(Self-Organizing Map, 군집 분석 기법)

by
SOM(Self-Organizing Map, 군집 분석 기법)

자기조직화 지도(SOM, Self-Organizing Map) 군집 분석 기법 1. SOM 개요 자기조직화 지도(SOM, Self-Organizing Map)는 인공신경망(Artificial Neural Network, ANN)의 한 종류로, 데이터의 고차원 정보를 저차원의 격자로 정리하는 비지도 학습(unsupervised learning) 방식의 군집 분석 기법입니다. 2. SOM(Self-Organizing Map)의 구성 요소 SOM은 인공 신경망 기반의 군집 분석 기법으로, 데이터의 고차원 구조를 저차원 격자로 변환합니다. SOM의 주요 구성 요소는 … Read more

네이버 파이낸스 개별종목 재무제표 가져오기

by
네이버 파이낸스 개별종목 재무제표 가져오기

네이버 파이낸스 개별종목 재무제표 네이버 증권의 개별종목 페이지에서 상세한 데이터를 제공합니다. https://finance.naver.com/item/coinfo.naver?code=005930&target=finsum_more 여기에는 개별종목의 재무데이터를 포함하고 있습니다. 이 재무제표를 엑셀에 붙여넣거나 가공하기가 쉽지 않습니다. FinanceDataReader 를 활용하여 개별 종목의 재무제표 데이터 데이터프레임으로 손쉽게 가져올 수 있습니다. 개별 종목 재무제표 데이터 가져오기 다음과 같은 SnapDataReader()함수를 이용하며 “NAVER/FINSTATE/ + 종목코드” 형식으로 티커를 구성합니다 결과 데이터프레임은 다양한 컬럼을 … Read more

텍스트 데이터 인코딩 (데이터 전처리)

by
텍스트 데이터 인코딩 (데이터 전처리)

데이터 전처리 — 텍스트 데이터 인코딩 대표적인 인코딩 ASCII ISO 8859 UTF-8 : 유니코드 EUC-KR CP949 데이터 파일 다루기 master.csv rss_30100041.xml 윈도우에서는 인코딩을 지정해주어야 합니다 인코딩 감지 인코딩 변환 인코딩 일괄 변환 참고 엑셀에서 utf-8 CSV 읽기 윈도우 엑셀은 csv의 기본 인코딩을 cp949(EUC-KR)로 가정 Codepage 변경 요약 출처 : https://financedata.notion.site/8c858b09203e4404a3b0d1de426dc078

비닝과 회귀의 차이

by
비닝과 회귀의 차이

비닝(Binning)과 회귀(Regression)의 차이 비닝(Binning)과 회귀(Regression)은 데이터 분석에서 자주 사용되는 기법이지만, 목적과 활용 방식이 다릅니다. 1. 비닝(Binning) 🔹 개념 비닝(Binning)은 연속형 데이터를 여러 개의 범주(구간, bin)로 나누는 과정입니다.즉, 연속적인 값을 이산적(Discrete) 그룹으로 변환하는 기법입니다. 🔹 특징 🔹 예제 📌 연속형 데이터 → 범주형 데이터 변환 나이(연속형) 비닝 후 (범주형) 18 10~19세 (청소년) 25 20~29세 (청년) 35 … Read more

데이터 전처리 실습

by
데이터 전처리 실습

데이터 준비 결측치 처리 결측치 처리: 개수 확인 결측치 처리: 데이터 혹은 컬럼 삭제 결측치 처리: 대체 (imputation) Outlier 탐지 3표준편차 와 IQR 방법 Outlier 처리: QR 이용하는 방법 Outlier 처리: IQR 이용하는 방법 잡음값 처리 데이터 평활화 잡음값 처리: 비닝 데이터 변환 (Data Transformation) 정규화(Normalization) vs 표준화(Standardization) 정규화 (Normalization) 표준화 (Standardization) 우측 그림 설명 … Read more