1. 개요 로지스틱 회귀(Logistic Regression)는 종속 변수가 범주형(categorical)일 때 사용하는 지도 학습(Supervised Learning) 알고리즘입니다. 특히 이진 분류(Binary Classification) 문제에서 널리 사용됩니다. 예를 들면, 고객이 상품을 구매할지(1) 안 할지(0), 이메일이 스팸(1)인지 아닌지(0) 등을 예측할 때 사용됩니다. 2. 선형 회귀와의 차이점 3. 시그모이드 함수(Sigmoid Function) 로지스틱 회귀의 핵심은 시그모이드 함수(로지스틱 함수)를 사용하는 것입니다. 시그모이드 함수는 다음과 같이 … Read more
엘라스틱넷(Elastic Net) 회귀는 릿지 회귀(Ridge)와 라쏘 회귀(Lasso)의 장점을 결합한 모델입니다.즉, L1 정규화(라쏘)와 L2 정규화(릿지)를 동시에 적용하여 변수 선택과 가중치 축소를 함께 수행합니다. 1. 엘라스틱넷의 핵심 개념 2. 엘라스틱넷 회귀 수식 엘라스틱넷은 L1 정규화(라쏘)와 L2 정규화(릿지)를 결합한 형태로, 다음과 같은 손실 함수를 사용합니다. 3. 엘라스틱넷의 특징 ✅ 릿지와 라쏘의 장점 결합 ✅ 다중 공선성이 있는 데이터에서 … Read more
비교 항목 릿지 회귀 (Ridge Regression) 라쏘 회귀 (Lasso Regression) 정규화 방식 L2 정규화 (제곱합 ∑βj2\sum \beta_j^2∑βj2) L1 정규화 (절댓값 합 (\sum 과적합 방지 가능 (모든 계수를 작게 만듦) 가능 (일부 계수를 0으로 만들어 변수 선택) 변수 선택 ❌ 없음 (모든 변수를 유지) ✅ 있음 (일부 계수를 0으로 만듦) 계수 축소 방식 모든 계수를 작게 … Read more
