리트리버(Retriever) 전략은 정보 검색 및 활용을 최적화하는 방법론 중 하나로, 특히 대량의 데이터에서 필요한 정보를 효과적으로 찾아내는 데 사용됩니다. 주로 자연어 처리(NLP) 및 기계 학습 분야에서 많이 활용되며, 검색 시스템, 챗봇, 추천 시스템 등에 적용됩니다. 1. 리트리버(Retriever) 이름의 유래 “리트리버(Retriever)”라는 단어는 영어 동사 “retrieve”에서 유래했습니다.“Retrieve”는 “되찾다, 회수하다, 검색하다” 등의 의미를 가지며, 여기에서 파생된 “Retriever”는 “회수하는 … Read more
엘라스틱넷(Elastic Net) 회귀는 릿지 회귀(Ridge)와 라쏘 회귀(Lasso)의 장점을 결합한 모델입니다.즉, L1 정규화(라쏘)와 L2 정규화(릿지)를 동시에 적용하여 변수 선택과 가중치 축소를 함께 수행합니다. 1. 엘라스틱넷의 핵심 개념 2. 엘라스틱넷 회귀 수식 엘라스틱넷은 L1 정규화(라쏘)와 L2 정규화(릿지)를 결합한 형태로, 다음과 같은 손실 함수를 사용합니다. 3. 엘라스틱넷의 특징 ✅ 릿지와 라쏘의 장점 결합 ✅ 다중 공선성이 있는 데이터에서 … Read more
1. 머클 트리(Merkle Tree)란? 머클 트리(Merkle Tree)는 해시 트리(Hash Tree)의 일종으로, 대량의 데이터를 트리 구조로 해시 값을 저장하여 데이터 무결성을 검증하는 구조입니다.특히 블록체인, P2P 네트워크, 파일 시스템 등에서 데이터 무결성 검증에 널리 사용됩니다. ✅ 머클 트리 특징 2. 머클 트리 구조 머클 트리는 리프 노드(Leaf Node), 중간 노드(Internal Node), 루트 노드(Root Node) 로 구성됩니다. 📌 … Read more
🔹 RNN(순환 신경망, Recurrent Neural Network)이란? RNN은 시퀀스 데이터(시간에 따라 변하는 데이터)를 처리하는 인공 신경망입니다.✅ 기존의 신경망과 달리, 이전 단계의 정보를 기억하여 연속적인 데이터(문장, 음성, 주가 등)에 강함✅ 자연어 처리(NLP), 음성 인식, 시계열 데이터 분석(주식 예측) 등에 활용 🔹 RNN의 핵심 개념 기존의 **일반적인 신경망(Fully Connected Network, CNN)**은 독립적인 입력을 처리합니다.하지만 RNN은 “순환 구조”를 가지며, … Read more
NLTK (Natural Language Toolkit)는 자연어 처리를 위한 파이썬 라이브러리로, 텍스트 분석, 토큰화, 형태소 분석, 품사 태깅, 구문 분석, 의미 분석 등의 다양한 기능을 제공합니다. 다음과 같은 고유한 특징을 가지고 있습니다. 1️⃣ 방대한 언어 데이터셋 제공 NLTK는 100개 이상의 자연어 데이터셋과 다양한 코퍼스를 포함하고 있어, 실험 및 연구 목적으로 매우 유용합니다. 📌 예제: WordNet 사용 from … Read more
데이터 전처리 가장 비용이 많이 소요되는 작업 Data preparation: 80% of the work of data scientists forbes.com https://goo.gl/h2DtR5 “데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝하는 시간을 불평하는데 쓰인다.” — kaggle 창립자 Anthony Goldbloom 데이터셋 (Dataset) 표 (table) 데이터셋(dataset), 인스턴스 집합(set of instance) 행 (row) 관측치(observed value), 레코드(record), 샘플(sample), 개체(instance) 열 (column) 특성(feature), 속성(attribute), … Read more
