과적합 (overfitting)
과적합은 머신러닝에서 학습용데이터를 과하게 학습하여, 실제데이터를 예측하지 못하는 현상을 말합니다. 인공지능(AI)의 학습 방법은 우리가 시험공부를 하는 과정과 아주 비슷합니다. 이 점을 생각하시면 ‘과적합’이 무엇인지 쉽게 이해하실 수 있습니다. 1. 한 … Read more
빅데이터분석기사
빅데이터분석기사 관련
크롤링(crawling)과 스크래핑(scraping) 차이
크롤링(crawling)과 스크래핑(scraping)은 웹 데이터를 수집할 때 자주 사용되는 기술이지만, 크롤링은 웹사이트 탐식 및 수집, 스크래핑은 특정 데이터만 추출하는 방식으로 목적과 작동 방식에 차이가 있습니다. 아래에 개념과 차이를 정리해 드리겠습니다. 1. … Read more
MSP(Managed Service Provider)
MSP(Managed Service Provider)는 클라우드, IT 인프라, 보안, 네트워크 등의 관리 서비스를 제공하는 기업입니다.즉, 기업이 자체적으로 IT 시스템을 운영하는 부담을 줄이고, MSP가 대신 관리해주는 방식입니다. ✅ MSP의 주요 역할 1️⃣ 클라우드 … Read more
Logical Volume Manager (LVM)의 개념
LVM(Logical Volume Manager)은 Linux에서 디스크 공간을 동적으로 관리할 수 있도록 하는 스토리지 가상화 기술입니다. 기존의 파티션 방식보다 유연하게 디스크를 할당하고 조정할 수 있습니다. 1. LVM의 기본 개념 LVM은 여러 개의 … Read more
Vector Storage
1. Vector Storage란? Vector Storage는 고차원의 벡터 데이터를 효율적으로 저장하고 검색하는 데이터베이스 또는 스토리지 시스템입니다. 이는 특히 AI 및 머신러닝, 검색 시스템, 추천 시스템 등에서 유사한 데이터를 빠르게 찾기 위한 … Read more
클라우드 네이티브(Cloud Native)
클라우드 네이티브(Cloud Native)는 클라우드 환경에서 애플리케이션을 구축하고 운영하는 방식을 의미합니다. 기존 온프레미스 방식과는 달리, 클라우드 네이티브는 컨테이너화(Containerization), 마이크로서비스(Microservices), 오케스트레이션(Orchestration), 데브옵스(DevOps), 지속적 통합 및 배포(CI/CD) 등의 개념을 기반으로 합니다. 🔹 클라우드 … Read more
RAG(Retrieval-Augmented Generation)
RAG(Retrieval-Augmented Generation)는 OpenAI와 같은 LLM (Large Language Model)이 정보를 생성할 때 외부 데이터베이스에서 관련 정보를 검색(Retrieve)하고 이를 기반으로 답변을 생성(Generate)하는 방식의 모델입니다. 즉, 검색 결과를 바탕으로 답변을 생성해주는 AI라 보시면 … Read more
K-Fold Cross Validation
K-Fold Cross Validation(K-겹 교차 검증)은 머신러닝 모델의 성능을 평가하는데 사용되는 중요한 기법입니다. 일반적인 데이터셋을 훈련 데이터와 테스트 데이터로 단순 분할하는 방식보다 더 신뢰성 높은 성능 평가를 제공합니다. 1. K-Fold Cross … Read more