📌 TF-IDF (Term Frequency – Inverse Document Frequency)란? TF-IDF는 문서 내 단어의 중요도를 평가하는 대표적인 방법입니다. 특정 단어가 문서에서 얼마나 중요한지를 수치화하여, 문서 간 유사도를 측정하거나 검색 엔진에서 검색 결과를 랭킹하는 데 사용됩니다. 1️⃣ 개념 정리 (1) TF (Term Frequency, 단어 빈도) 문서 내에서 특정 단어가 등장하는 빈도를 나타냅니다.TF(t,d)=f(t,d)NTF(t, d) = \frac{f(t, d)}{N}TF(t,d)=Nf(t,d) ✅ TF의 … Read more
📌 코사인 유사도 (Cosine Similarity) 코사인 유사도는 두 벡터 간의 각도를 기반으로 두 값이 얼마나 비슷한지 유사도를 측정하는 방법입니다. 값의 범위는 -1 ≤ cosine similarity ≤ 1이며, 값이 1에 가까울수록 두 벡터가 유사하고, 0이면 서로 독립적이며, -1에 가까울수록 반대 방향을 의미합니다. 수식: 🛠 Python 구현 (NLTK + Scikit-learn 활용) 1️⃣ 문장 간 유사도 측정 (1) … Read more
NLTK (Natural Language Toolkit)는 자연어 처리를 위한 파이썬 라이브러리로, 텍스트 분석, 토큰화, 형태소 분석, 품사 태깅, 구문 분석, 의미 분석 등의 다양한 기능을 제공합니다. 다음과 같은 고유한 특징을 가지고 있습니다. 1️⃣ 방대한 언어 데이터셋 제공 NLTK는 100개 이상의 자연어 데이터셋과 다양한 코퍼스를 포함하고 있어, 실험 및 연구 목적으로 매우 유용합니다. 📌 예제: WordNet 사용 from … Read more
NLP – 자연어 처리 기술 개요 문서, 문단, 문장 문서 (document), 문단(paragraph), 문장(sentence) 문장, 어절, 형태소 문장(sentence), 어절(eojeol, word phrase), 형태소(morpheme) NLP 주요 용어 참고: 한국어 품사 https://goo.gl/s8W3hW NLP의 주요 연구 영역 1. Lexical Analysis (어휘분석) 문장을 잘 나누어 처리 효율을 높이기 위한 작업 2. Syntax Analysis (구문 분석) 규칙이나 문법을 사용하여 문장을 분석하거나 구성 3. … Read more
일원분산분석(One-Way ANOVA, One-Way Analysis of Variance)은 한 개의 독립 변수(요인, Factor) 가 여러 그룹으로 나뉠 때, 각 그룹의 평균이 통계적으로 유의미한 차이가 있는지를 검정하는 방법입니다. 📌 주요 개념 🎯 적용 예시 📊 분석 과정 🔢 수식 (F-통계량) F=그룹 간 분산(Between-group variance)그룹 내 분산(Within-group variance)F = \frac{\text{그룹 간 분산(Between-group variance)}}{\text{그룹 내 분산(Within-group variance)}}F=그룹 내 분산(Within-group variance)그룹 간 분산(Between-group variance) 📌 Python 예제 import scipy.stats as statsimport pandas as … Read more
카이제곱 검정(Chi-Square Test)란? 카이제곱(χ²) 검정은 범주형 데이터(categorical data)에서 기대값과 관측값 간의 차이를 분석하는 통계적 검정 방법입니다. 주로 데이터가 특정 분포를 따르는지, 변수 간의 독립성이 있는지를 확인할 때 사용됩니다. 1. 카이제곱 검정의 종류 ① 적합성 검정 (Goodness-of-Fit Test) ② 독립성 검정 (Test for Independence) ③ 동질성 검정 (Test for Homogeneity) 2. 카이제곱 검정의 공식 카이제곱(χ²) 통계량은 … Read more
NumPy 라이브러리 개요 NumPy (Numerical Python)는 파이썬에서 행렬이나 대규모 다차원 배열을 쉽게 처리하는 등 강력한 수치 계산을 지원하는 파이썬 라이브러리입니다. 다차원 배열 객체인 ndarray를 중심으로 다양한 수학적 연산을 수행할 수 있습니다. 보통 넘파이라고 읽습니다. 🔹 NumPy 주요 기능 및 함수 정리 기능 설명 주요 함수 배열 생성 리스트나 튜플을 배열로 변환 np.array() 0으로 채운 배열 … Read more
Oracle의 버퍼락(Buffer Lock) 은 Oracle 데이터베이스에서 데이터 블록(buffer cache) 내의 충돌을 방지하기 위해 사용되는 잠금 메커니즘입니다. 일반적으로, 여러 프로세스가 동일한 블록을 액세스하려 할 때 발생하는 동시성 문제를 해결하기 위해 존재합니다. (Row Lock과 다름) 1. 버퍼락의 개념 참고로 오라클은 데이터를 읽는 최소 단위가 블록 단위입니다. Row한줄을 읽어도 블록단위로 읽어옵니다. (한 블록 내에는 수백개의 Row가 있을 수도 … Read more
