인공지능 및 빅데이터

인공지능 및 빅데이터 분석 관련

KoNLPy(Korean Natural Language Processing in Python)

by

KoNLPy(Korean Natural Language Processing in Python)는 한국어 자연어 처리를 위한 파이썬 라이브러리입니다. 형태소 분석기(예: Mecab, Komoran, Kkma, Hannanum, Okt)를 지원하며, 한국어 텍스트를 분석하는 데 유용합니다. 📌 주요 기능 📌 설치 … Read more

RSS(Really Simple Syndication)

by

RSS(Really Simple Syndication)는 웹사이트에서 제공하는 최신 콘텐츠(예: 뉴스, 블로그 글 등)를 자동으로 받아볼 수 있도록 도와주는 기술입니다.쉽게 설명하자면, “새로운 글이 올라오면 자동으로 알려주는 시스템“이라고 이해하시면 됩니다. 예를 들어, 자주 방문하는 … Read more

TF-IDF (Term Frequency – Inverse Document Frequency)

by

📌 TF-IDF (Term Frequency – Inverse Document Frequency)란? TF-IDF는 문서 내 단어의 중요도를 평가하는 대표적인 방법입니다. 특정 단어가 문서에서 얼마나 중요한지를 수치화하여, 문서 간 유사도를 측정하거나 검색 엔진에서 검색 결과를 … Read more

코사인 유사도 (Cosine Similarity)

by

📌 코사인 유사도 (Cosine Similarity) 코사인 유사도는 두 벡터 간의 각도를 기반으로 두 값이 얼마나 비슷한지 유사도를 측정하는 방법입니다. 값의 범위는 -1 ≤ cosine similarity ≤ 1이며, 값이 1에 가까울수록 … Read more

NLTK (Natural Language Toolkit)

by

NLTK (Natural Language Toolkit)는 자연어 처리를 위한 파이썬 라이브러리로, 텍스트 분석, 토큰화, 형태소 분석, 품사 태깅, 구문 분석, 의미 분석 등의 다양한 기능을 제공합니다. 다음과 같은 고유한 특징을 가지고 있습니다. … Read more

NLP (Natural Language Processing, 자연어 처리)

by

NLP – 자연어 처리 기술 개요 문서, 문단, 문장 문서 (document), 문단(paragraph), 문장(sentence) 문장, 어절, 형태소 문장(sentence), 어절(eojeol, word phrase), 형태소(morpheme) NLP 주요 용어 참고: 한국어 품사 https://goo.gl/s8W3hW NLP의 주요 연구 … Read more

Colab (Google Colaboratory)

by

Colab(Google Colaboratory)은 Google에서 제공하는 클라우드 기반의 Jupyter Notebook 환경으로, 사용자가 별도의 환경 설정 없이 Python 코드를 실행하고 머신러닝 및 데이터 과학 작업을 수행할 수 있도록 도와줍니다. Colab의 주요 특징 Colab … Read more

셀레니움 웹 크롤링 방법

by

셀레니움을 활용하여 finviz사이트의 S&P 500 Treemap을 가져오는 크롤링하는 방법을 알려드리겠습니다. 혹시 셀레니움이 뭔지 모르신다면 이전 포스팅을 먼저 읽어보고 오시는것을 추천드립니다. 셀레니움 포스팅 ☞ 바로가기 Anaconda 설치 후 주피터 노트북에서 실습하거나 … Read more

ipynb 파일의 유래

by

ipynb 파일 형식은 Jupyter Notebook에서 사용하는 파일 확장자입니다. 이 확장자의 유래는 다음과 같습니다. 정리 IPython 추가 정보 Python의 주요 특징 IPython의 역사 IPython과 Jupyter의 차이점 구분 IPython Jupyter 개념 대화형 … Read more

SOM(Self-Organizing Map, 군집 분석 기법)

by

자기조직화 지도(SOM, Self-Organizing Map) 군집 분석 기법 1. SOM 개요 자기조직화 지도(SOM, Self-Organizing Map)는 인공신경망(Artificial Neural Network, ANN)의 한 종류로, 데이터의 고차원 정보를 저차원의 격자로 정리하는 비지도 학습(unsupervised learning) 방식의 … Read more