TF-IDF (Term Frequency – Inverse Document Frequency)

TF-IDF (Term Frequency – Inverse Document Frequency)

📌 TF-IDF (Term Frequency – Inverse Document Frequency)란? TF-IDF는 문서 내 단어의 중요도를 평가하는 대표적인 방법입니다. 특정 단어가 문서에서 얼마나 중요한지를 수치화하여, 문서 간 유사도를 측정하거나 검색 엔진에서 검색 결과를 랭킹하는 데 사용됩니다. 1️⃣ 개념 정리 (1) TF (Term Frequency, 단어 빈도) 문서 내에서 특정 단어가 등장하는 빈도를 나타냅니다.TF(t,d)=f(t,d)NTF(t, d) = \frac{f(t, d)}{N}TF(t,d)=Nf(t,d)​ ✅ TF의 … Read more

NLTK (Natural Language Toolkit)

NLTK (Natural Language Toolkit)

NLTK (Natural Language Toolkit)는 자연어 처리를 위한 파이썬 라이브러리로, 텍스트 분석, 토큰화, 형태소 분석, 품사 태깅, 구문 분석, 의미 분석 등의 다양한 기능을 제공합니다. 다음과 같은 고유한 특징을 가지고 있습니다. 1️⃣ 방대한 언어 데이터셋 제공 NLTK는 100개 이상의 자연어 데이터셋과 다양한 코퍼스를 포함하고 있어, 실험 및 연구 목적으로 매우 유용합니다. 📌 예제: WordNet 사용 from … Read more