과적합은 머신러닝에서 학습용데이터를 과하게 학습하여, 실제데이터를 예측하지 못하는 현상을 말합니다. 인공지능(AI)의 학습 방법은 우리가 시험공부를 하는 과정과 아주 비슷합니다. 이 점을 생각하시면 ‘과적합’이 무엇인지 쉽게 이해하실 수 있습니다. 1. 한 학생이 시험공부를 합니다 (인공지능의 학습 과정) 여기에 ‘슬기’라는 학생이 수학 시험을 준비하고 있다고 가정해 보겠습니다. 슬기 앞에는 **’연습 문제집’**이 한 권 있습니다. 이 문제집에는 총 … Read more
크롤링(crawling)과 스크래핑(scraping)은 웹 데이터를 수집할 때 자주 사용되는 기술이지만, 크롤링은 웹사이트 탐식 및 수집, 스크래핑은 특정 데이터만 추출하는 방식으로 목적과 작동 방식에 차이가 있습니다. 아래에 개념과 차이를 정리해 드리겠습니다. 1. 크롤링(Crawling) 정의:크롤링은 웹사이트의 링크 구조를 따라가며 웹 페이지 전체를 자동으로 탐색하고 정보를 수집하는 과정입니다.검색 엔진(예: 구글, 네이버)의 로봇(크롤러, 봇)이 웹사이트를 탐색할 때 사용하는 기술입니다. 목적:웹 … Read more
1. LangChain 개요 LangChain은 LLM (Large Language Model) 기반 애플리케이션을 더욱 강력하고 유연하게 만들기 위한 프레임워크입니다. OpenAI, Hugging Face 등의 다양한 LLM을 쉽게 연결하고, 체인(Chain) 형태로 구성하여 복잡한 기능을 수행할 수 있도록 돕습니다. LangChain은 단순한 프롬프트 관리 도구를 넘어서, 외부 데이터와의 연동, 메모리 유지, 데이터베이스 연결, API 호출 등 다양한 기능을 제공합니다. 2. LangChain의 주요 … Read more
클라우드 네이티브(Cloud Native)는 클라우드 환경에서 애플리케이션을 구축하고 운영하는 방식을 의미합니다. 기존 온프레미스 방식과는 달리, 클라우드 네이티브는 컨테이너화(Containerization), 마이크로서비스(Microservices), 오케스트레이션(Orchestration), 데브옵스(DevOps), 지속적 통합 및 배포(CI/CD) 등의 개념을 기반으로 합니다. 🔹 클라우드 네이티브의 주요 특징 🔹 클라우드 네이티브 기술 스택 카테고리 대표적인 기술 컨테이너 Docker, Podman 오케스트레이션 Kubernetes, OpenShift 서비스 메시 Istio, Linkerd CI/CD Jenkins, GitLab CI, … Read more
RAG(Retrieval-Augmented Generation)는 OpenAI와 같은 LLM (Large Language Model)이 정보를 생성할 때 외부 데이터베이스에서 관련 정보를 검색(Retrieve)하고 이를 기반으로 답변을 생성(Generate)하는 방식의 모델입니다. 즉, 검색 결과를 바탕으로 답변을 생성해주는 AI라 보시면 됩니다. 기존의 LLM이 학습된 데이터에만 의존하는 것과 달리, RAG는 실시간으로 최신 정보를 가져올 수 있어 보다 정확하고 신뢰성 있는 응답을 생성할 수 있습니다. 🔹 RAG의 … Read more
K-Fold Cross Validation(K-겹 교차 검증)은 머신러닝 모델의 성능을 평가하는데 사용되는 중요한 기법입니다. 일반적인 데이터셋을 훈련 데이터와 테스트 데이터로 단순 분할하는 방식보다 더 신뢰성 높은 성능 평가를 제공합니다. 1. K-Fold Cross Validation 개념 K-Fold Cross Validation은 다음과 같은 단계로 진행됩니다. 2. K-Fold Cross Validation의 장점 3. K 값(K-Fold의 개수) 선택 기준 4. K-Fold Cross Validation의 유형 … Read more
엘라스틱넷(Elastic Net) 회귀는 릿지 회귀(Ridge)와 라쏘 회귀(Lasso)의 장점을 결합한 모델입니다.즉, L1 정규화(라쏘)와 L2 정규화(릿지)를 동시에 적용하여 변수 선택과 가중치 축소를 함께 수행합니다. 1. 엘라스틱넷의 핵심 개념 2. 엘라스틱넷 회귀 수식 엘라스틱넷은 L1 정규화(라쏘)와 L2 정규화(릿지)를 결합한 형태로, 다음과 같은 손실 함수를 사용합니다. 3. 엘라스틱넷의 특징 ✅ 릿지와 라쏘의 장점 결합 ✅ 다중 공선성이 있는 데이터에서 … Read more
라쏘 회귀(Lasso Regression)는 선형 회귀(Linear Regression)에 L1 정규화(Regularization)를 추가한 모델입니다.라쏘(Lasso)는 Least Absolute Shrinkage and Selection Operator의 약자로, 변수 선택(Feature Selection) 기능을 제공하는 것이 특징입니다. 1. 라쏘 회귀의 핵심 개념 라쏘 회귀는 불필요한 변수의 회귀 계수를 0으로 만들어 모델을 간소화하는 역할을 합니다.따라서 고차원 데이터에서 중요하지 않은 변수를 자동으로 제거하는 데 유용합니다. 2. 라쏘 회귀 수식 라쏘 … Read more
릿지(Ridge)는 머신러닝과 통계에서 사용되는 릿지 회귀(Ridge Regression) 또는 릿지 정규화(Ridge Regularization) 를 의미합니다. 이는 선형 회귀(Linear Regression)의 일종으로, 과적합(Overfitting)을 방지하기 위해 가중치(Weight)에 패널티를 추가하는 방법입니다. 1. 릿지 회귀(Ridge Regression)란? 2. 릿지 회귀의 수식 릿지 회귀는 기존 선형 회귀에 L2 패널티를 추가한 형태입니다 3. 릿지 회귀의 특징 ✅ 다중 공선성 해결 ✅ 변수 선택이 아닌 가중치 … Read more
차원 축소(Dimensionality Reduction)는 고차원의 데이터를 저차원의 공간으로 변환하는 기법입니다. 이는 데이터의 중요한 정보를 최대한 유지하면서 불필요한 정보(노이즈)를 제거하고, 계산 효율성을 높이며, 데이터 시각화와 모델 성능 향상에 기여합니다. 1. 차원 축소의 필요성 (1) 고차원의 저주(Curse of Dimensionality) (2) 연산 속도 및 저장 공간 절감 (3) 노이즈 제거 및 과적합(Overfitting) 방지 (4) 데이터 시각화 가능 2. 차원 … Read more
