인공지능 및 빅데이터

인공지능 및 빅데이터 분석 관련

RAG(Retrieval-Augmented Generation)

by

RAG(Retrieval-Augmented Generation)는 OpenAI와 같은 LLM (Large Language Model)이 정보를 생성할 때 외부 데이터베이스에서 관련 정보를 검색(Retrieve)하고 이를 기반으로 답변을 생성(Generate)하는 방식의 모델입니다. 즉, 검색 결과를 바탕으로 답변을 생성해주는 AI라 보시면 … Read more

K-Fold Cross Validation

by

K-Fold Cross Validation(K-겹 교차 검증)은 머신러닝 모델의 성능을 평가하는데 사용되는 중요한 기법입니다. 일반적인 데이터셋을 훈련 데이터와 테스트 데이터로 단순 분할하는 방식보다 더 신뢰성 높은 성능 평가를 제공합니다. 1. K-Fold Cross … Read more

PCA(Principal Component Analysis)

by

1. PCA란? PCA(Principal Component Analysis)는 데이터의 차원을 축소하면서도 데이터의 분산을 최대한 보존하는 기법입니다. 즉, 고차원 데이터를 저차원으로 변환하여 주요 정보만 유지하면서 계산 비용을 줄이고, 데이터의 시각화를 돕는 데 사용됩니다. 2. … Read more

로지스틱 회귀(Logistic Regression)

by

1. 개요 로지스틱 회귀(Logistic Regression)는 종속 변수가 범주형(categorical)일 때 사용하는 지도 학습(Supervised Learning) 알고리즘입니다. 특히 이진 분류(Binary Classification) 문제에서 널리 사용됩니다. 예를 들면, 고객이 상품을 구매할지(1) 안 할지(0), 이메일이 스팸(1)인지 … Read more

엘라스틱넷 (Elastic Net)

by

엘라스틱넷(Elastic Net) 회귀는 릿지 회귀(Ridge)와 라쏘 회귀(Lasso)의 장점을 결합한 모델입니다.즉, L1 정규화(라쏘)와 L2 정규화(릿지)를 동시에 적용하여 변수 선택과 가중치 축소를 함께 수행합니다. 1. 엘라스틱넷의 핵심 개념 2. 엘라스틱넷 회귀 수식 … Read more

라쏘 회귀(Lasso Regression)

by

라쏘 회귀(Lasso Regression)는 선형 회귀(Linear Regression)에 L1 정규화(Regularization)를 추가한 모델입니다.라쏘(Lasso)는 Least Absolute Shrinkage and Selection Operator의 약자로, 변수 선택(Feature Selection) 기능을 제공하는 것이 특징입니다. 1. 라쏘 회귀의 핵심 개념 라쏘 … Read more

릿지(Ridge)

by

릿지(Ridge)는 머신러닝과 통계에서 사용되는 릿지 회귀(Ridge Regression) 또는 릿지 정규화(Ridge Regularization) 를 의미합니다. 이는 선형 회귀(Linear Regression)의 일종으로, 과적합(Overfitting)을 방지하기 위해 가중치(Weight)에 패널티를 추가하는 방법입니다. 1. 릿지 회귀(Ridge Regression)란? 2. … Read more

차원 축소(Dimensionality Reduction)

by

차원 축소(Dimensionality Reduction)는 고차원의 데이터를 저차원의 공간으로 변환하는 기법입니다. 이는 데이터의 중요한 정보를 최대한 유지하면서 불필요한 정보(노이즈)를 제거하고, 계산 효율성을 높이며, 데이터 시각화와 모델 성능 향상에 기여합니다. 1. 차원 축소의 … Read more

XAI(설명 가능한 인공지능, eXplainable AI)

by

1. XAI(설명 가능한 인공지능)란? XAI(eXplainable AI, 설명 가능한 인공지능)는 인공지능 모델이 내린 결과와 의사결정 과정을 사람이 이해할 수 있도록 설명할 수 있는 기술입니다. 기존 AI 시스템(특히 딥러닝 기반 모델)은 높은 … Read more