IT
IT관련 Topic 위주의 포스팅입니다. 필요한 Topic은 search하여 찾을 수 있습니다.
테스트 타임 컴퓨팅(Test-Time Compute, TTC)
테스트 타임 컴퓨팅(Test-Time Compute, TTC) 개요 1. 테스트 타임 컴퓨팅(TTC)이란? 테스트 타임 컴퓨팅(Test-Time Compute, TTC)은 머신 러닝 및 딥 러닝 모델이 학습(training)된 후, 추론(inference) 단계에서 추가적인 연산을 수행하여 성능을 향상시키는 기법입니다. 일반적으로 모델은 학습된 가중치를 고정한 채 추론을 수행하지만, TTC는 테스트 시점에서 추가적인 계산을 통해 성능을 개선하려는 전략입니다. ✅ 핵심 개념 2. 주요 테스트 타임 … Read more
자주 사용하는 전처리 (데이터 전처리)
데이터 전처리 – 자주 사용하는 전처리 (금융데이터) 데이터 준비 https://finance.naver.com/item/main.nhn?code=005930 문자열 다루기 1) 데이터 분리 – str.split() 활용하기 2) str.split(), str.join() 3) n번째 가져오기 4) 불필요한 문자는 제거하고 수치값을 만들기 숫자만 추출하기 1) 문자열에서 숫자만 추출하기 2) 유틸리티 함수 만들기 파이썬 함수를 계속 사용하기 보다 일반화해서 함수로 정리해서 사용하는 것을 추천 합니다. (정규식을 사용하면 더 … Read more
텍스트 데이터 인코딩 (데이터 전처리)
데이터 전처리 — 텍스트 데이터 인코딩 대표적인 인코딩 ASCII ISO 8859 UTF-8 : 유니코드 EUC-KR CP949 데이터 파일 다루기 master.csv rss_30100041.xml 윈도우에서는 인코딩을 지정해주어야 합니다 인코딩 감지 인코딩 변환 인코딩 일괄 변환 참고 엑셀에서 utf-8 CSV 읽기 윈도우 엑셀은 csv의 기본 인코딩을 cp949(EUC-KR)로 가정 Codepage 변경 요약 출처 : https://financedata.notion.site/8c858b09203e4404a3b0d1de426dc078
비닝과 회귀의 차이
비닝(Binning)과 회귀(Regression)의 차이 비닝(Binning)과 회귀(Regression)은 데이터 분석에서 자주 사용되는 기법이지만, 목적과 활용 방식이 다릅니다. 1. 비닝(Binning) 🔹 개념 비닝(Binning)은 연속형 데이터를 여러 개의 범주(구간, bin)로 나누는 과정입니다.즉, 연속적인 값을 이산적(Discrete) 그룹으로 변환하는 기법입니다. 🔹 특징 🔹 예제 📌 연속형 데이터 → 범주형 데이터 변환 나이(연속형) 비닝 후 (범주형) 18 10~19세 (청소년) 25 20~29세 (청년) 35 … Read more
68-95-99.7 규칙 (Three Sigma Rule)
68-95-99.7 규칙 (Three Sigma Rule) 68-95-99.7 규칙은 정규분포(Gaussian distribution)에서 평균(μ)과 표준편차(σ)를 기준으로 데이터가 분포하는 비율을 나타내는 경험적인 법칙입니다. 1. 규칙의 의미 정규분포에서 데이터가 평균을 중심으로 특정 시그마(σ) 범위 내에 포함될 확률은 다음과 같습니다. 시그마 범위 포함 확률 설명 ±1σ 68.3% 전체 데이터의 68.3%가 평균(μ)에서 ±1표준편차(σ) 내에 위치 ±2σ 95.4% 전체 데이터의 95.4%가 평균(μ)에서 ±2표준편차(σ) 내에 … Read more
데이터 전처리 실습
데이터 준비 결측치 처리 결측치 처리: 개수 확인 결측치 처리: 데이터 혹은 컬럼 삭제 결측치 처리: 대체 (imputation) Outlier 탐지 3표준편차 와 IQR 방법 Outlier 처리: QR 이용하는 방법 Outlier 처리: IQR 이용하는 방법 잡음값 처리 데이터 평활화 잡음값 처리: 비닝 데이터 변환 (Data Transformation) 정규화(Normalization) vs 표준화(Standardization) 정규화 (Normalization) 표준화 (Standardization) 우측 그림 설명 … Read more
FTP 패시브(Passive) 모드
FTP의 패시브(Passive) 모드는 클라이언트가 방화벽이나 NAT(Network Address Translation) 뒤에 있을 때 데이터 전송 문제를 해결하기 위해 사용됩니다. 기본적으로, FTP는 액티브(Active) 모드와 패시브(Passive) 모드 두 가지 방식으로 작동합니다. 1. 패시브(Passive) 모드 개요 2. 패시브 모드 활성화 방법 FTP 클라이언트와 서버 설정에서 패시브 모드를 활성화해야 합니다. (1) FTP 클라이언트에서 패시브 모드 활성화 (2) FTP 서버에서 패시브 모드 … Read more
IQR(Interquartile Range, 사분위 범위)
IQR(Interquartile Range, 사분위 범위)는 데이터에서 이상치를 탐지하고 변동성을 측정하는 데 사용되는 통계적 지표입니다. 📌 IQR의 정의 IQR은 데이터의 1사분위수(Q1)와 3사분위수(Q3)의 차이를 의미합니다. 📌 IQR의 활용 📌 IQR을 활용한 예시 (Python) python복사편집import numpy as np # 예제 데이터 data = [10, 12, 14, 15, 18, 21, 24, 30, 35, 40] # Q1, Q3 계산 Q1 = … Read more