RNN(Recurrent Neural Network)

Table of Contents

🔹 RNN(순환 신경망, Recurrent Neural Network)이란?

RNN은 시퀀스 데이터(시간에 따라 변하는 데이터)를 처리하는 인공 신경망입니다.
✅ 기존의 신경망과 달리, 이전 단계의 정보를 기억하여 연속적인 데이터(문장, 음성, 주가 등)에 강함
✅ 자연어 처리(NLP), 음성 인식, 시계열 데이터 분석(주식 예측) 등에 활용

🔹 RNN의 핵심 개념

기존의 **일반적인 신경망(Fully Connected Network, CNN)**은 독립적인 입력을 처리합니다.
하지만 RNN은 “순환 구조”를 가지며, 이전 단계의 출력을 다음 단계의 입력으로 활용합니다.

📌 예제: 문장 예측
💬 입력: "나는 밥을" → 출력: "먹는다"
💬 입력: "나는 영화를" → 출력: "본다"

👉 일반 신경망은 "나는"과 "밥을"을 별개의 입력으로 다루지만,
👉 RNN은 “나는”이란 단어를 기억한 채 "밥을"을 입력으로 받아 “먹는다”를 예측!

🔹 RNN의 구조

RNN은 기본적으로 반복되는(hidden state를 공유하는) 구조를 가지고 있습니다.

✅ RNN 기본 구조

입력(Input): 시퀀스 데이터 (예: 단어, 음성 신호, 주가 등)
숨은 상태(Hidden State, h): 이전 단계의 정보를 기억
출력(Output): 예측된 값 (예: 다음 단어, 감정 분석 결과 등)

📌 RNN 수식ht=f(Whht−1+Wxxt)h_t = f(W_h h_{t-1} + W_x x_t)ht=f(Whht−1+Wxxt)yt=Wyhty_t = W_y h_tyt=Wyht

✅ 현재 상태 hth_tht = 이전 상태 ht−1h_{t-1}ht−1 + 현재 입력 xtx_txt
✅ 이렇게 이전 정보가 반영되면서 “순환”되는 구조를 가짐

🔹 RNN이 강력한 이유

✅ 순차적인 데이터 처리 가능 → 텍스트, 음성, 주가 등 시간에 따라 변하는 데이터를 다룰 수 있음
✅ 이전 정보 기억 가능 → 문장이나 시계열 패턴을 인식하는 데 유용
✅ 매개변수 공유 → CNN보다 연산량을 줄일 수 있음

🔹 RNN의 한계 (Vanishing Gradient Problem)

하지만 RNN은 긴 시퀀스를 다룰 때 문제가 있음 😢

기억이 금방 사라짐 → “나는 어제 맛있는 … 🍔” (너무 긴 문장에서 “나는”을 기억 못함)
Vanishing Gradient (기울기 소실 문제) → 역전파 과정에서 멀리 떨어진 정보가 전달되지 않음
- 예를 들어, 첫 단어(“나는”)가 마지막 단어(“먹었다”)에 영향을 주기 어려움

🔹 RNN의 발전된 형태

이러한 문제를 해결하기 위해 더 발전된 RNN 모델이 등장함!

✅ 1. LSTM (Long Short-Term Memory)

LSTM은 RNN의 기억력 문제를 개선한 모델 🚀

셀 상태(Cell State)와 게이트(Gates) 구조를 사용하여 필요한 정보만 선택적으로 기억
장기 기억(Long-term Dependency) 유지 가능

📌 LSTM의 핵심 구조
1️⃣ 입력 게이트(Input Gate) → 새 정보 얼마나 저장할지 결정
2️⃣ 망각 게이트(Forget Gate) → 불필요한 정보 삭제
3️⃣ 출력 게이트(Output Gate) → 최종 출력 결정

👉 예제: 문장 처리
💬 "나는 어제 아주 맛있는 햄버거를" → "먹었다"
✔ LSTM은 “나는”이라는 단어를 오랫동안 기억하여 올바른 출력을 생성 가능!

✅ 2. GRU (Gated Recurrent Unit)

GRU는 LSTM보다 더 간단한 구조로 비슷한 효과를 냄

계산량이 적고 빠름
LSTM보다 간단하지만 성능은 거의 비슷
NLP에서 LSTM과 GRU 중 하나를 선택해서 사용함

🔹 RNN vs CNN 비교

모델	주요 특징	사용 예시
CNN	이미지, 공간적 데이터 처리	이미지 분류, 객체 탐지
RNN	시퀀스 데이터 처리	자연어 처리, 음성 인식, 주가 예측
LSTM	장기 기억 가능	문장 생성, 번역, 음성 인식
GRU	LSTM보다 가볍고 빠름	챗봇, 실시간 번역