웹 크롤링 예제(네이버 금융 시가총액 크롤링)
아래는 네이버 금융의 시가총액 순위 1위부터 500위까지 데이터를 가져와 엑셀로 저장하는 Python 코드입니다. 🔹 설명 ✅ Python 코드 import pandas as pdimport requestsfrom time import sleep# 저장할 엑셀 파일명excel_filename = … Read more
zerg96
테스트 타임 컴퓨팅(Test-Time Compute, TTC)
테스트 타임 컴퓨팅(Test-Time Compute, TTC) 개요 1. 테스트 타임 컴퓨팅(TTC)이란? 테스트 타임 컴퓨팅(Test-Time Compute, TTC)은 머신 러닝 및 딥 러닝 모델이 학습(training)된 후, 추론(inference) 단계에서 추가적인 연산을 수행하여 성능을 향상시키는 … Read more
자주 사용하는 전처리 (데이터 전처리)
데이터 전처리 – 자주 사용하는 전처리 (금융데이터) 데이터 준비 https://finance.naver.com/item/main.nhn?code=005930 문자열 다루기 1) 데이터 분리 – str.split() 활용하기 2) str.split(), str.join() 3) n번째 가져오기 4) 불필요한 문자는 제거하고 수치값을 만들기 … Read more
텍스트 데이터 인코딩 (데이터 전처리)
데이터 전처리 — 텍스트 데이터 인코딩 대표적인 인코딩 ASCII ISO 8859 UTF-8 : 유니코드 EUC-KR CP949 데이터 파일 다루기 master.csv rss_30100041.xml 윈도우에서는 인코딩을 지정해주어야 합니다 인코딩 감지 인코딩 변환 인코딩 … Read more
비닝과 회귀의 차이
비닝(Binning)과 회귀(Regression)의 차이 비닝(Binning)과 회귀(Regression)은 데이터 분석에서 자주 사용되는 기법이지만, 목적과 활용 방식이 다릅니다. 1. 비닝(Binning) 🔹 개념 비닝(Binning)은 연속형 데이터를 여러 개의 범주(구간, bin)로 나누는 과정입니다.즉, 연속적인 값을 이산적(Discrete) … Read more
68-95-99.7 규칙 (Three Sigma Rule)
68-95-99.7 규칙 (Three Sigma Rule) 68-95-99.7 규칙은 정규분포(Gaussian distribution)에서 평균(μ)과 표준편차(σ)를 기준으로 데이터가 분포하는 비율을 나타내는 경험적인 법칙입니다. 1. 규칙의 의미 정규분포에서 데이터가 평균을 중심으로 특정 시그마(σ) 범위 내에 포함될 … Read more
데이터 전처리 실습
데이터 준비 결측치 처리 결측치 처리: 개수 확인 결측치 처리: 데이터 혹은 컬럼 삭제 결측치 처리: 대체 (imputation) Outlier 탐지 3표준편차 와 IQR 방법 Outlier 처리: QR 이용하는 방법 Outlier … Read more