버퍼 오버플로우는 주로 C/C++ 언어에서의 경계 검사 부재를 이용해,
스택 프레임을 덮어쓰고 RET 주소를 조작하여 공격자가 원하는 코드를 실행하는 공격입니다.

이를 막기 위해 운영체제, 컴파일러, 하드웨어 등 다양한 계층에서 다음과 같은 보호기법이 사용됩니다.

✅ 주요 오버플로우 방어 기법 8가지 (정리표 먼저 보기)

기법명	보호 대상	주체	설명
Stack Canary	스택	런타임	RET 주소 앞에 감시값 삽입
StackGuard	스택	컴파일러	Stack Canary를 구현한 기법
StackShield	스택	컴파일러	RET 주소를 별도 저장해 보호
ASLR	메모리 전체	운영체제	주소 무작위화
DEP/NX bit	메모리 영역	하드웨어+OS	실행 불가 영역 지정
PIE	실행파일	컴파일러+OS	코드 영역 자체도 랜덤화
Fortify Source	함수 호출	컴파일러	위험 함수 감지 및 보호
CFI	흐름 제어	컴파일러+OS	비정상 함수 호출 차단

1. Stack Canary

• 위치: 스택 내부
• 도입 계층: 런타임
• 목적: 스택 프레임 보호

✅ 동작 원리

1. 함수 호출 시, 지역 변수와 RET 주소 사이에 Canary 값 삽입
2. 함수 종료 시 Canary 값이 바뀌었는지 확인
3. 값이 바뀌었으면 스택 오버플로우 공격으로 간주 후 종료

✅ 유형 (GCC 기준)

• -fstack-protector: 기본 보호 (대상 함수 제한)
• -fstack-protector-strong: 더 많은 함수 보호
• -fstack-protector-all: 모든 함수 보호

2. StackGuard

• Stack Canary 기법의 구현체 중 하나
• GCC에 통합된 형태로 구현되었고, -fstack-protector 옵션이 사실상 StackGuard입니다.

✅ 핵심 특징

• 스택 프레임마다 랜덤 Canary 삽입
• Canary가 손상되면 __stack_chk_fail() 호출로 비정상 종료

3. StackShield

• RET 주소를 별도의 안전한 공간에 백업해 두는 방식

✅ 동작 방식

1. 함수 진입 시 RET 주소를 StackShield Table에 저장
2. 함수 리턴 시, 원래 스택에 있는 RET 주소와 비교
3. 다르면 프로그램 종료

✅ 장점

• Canary처럼 변조 감지보다 RET 보호를 직접적으로 수행
• Canary 우회 공격에 강함

❌ 단점

• 구현 복잡도 ↑
• GCC 최신 버전에서는 기본 미지원

4. ASLR (Address Space Layout Randomization)

• 실행 중인 프로그램의 메모리 구조를 매번 다르게 배치하는 OS 보호 기법

✅ 보호 대상

• 스택, 힙, 라이브러리, 코드 등 모든 주소 공간

✅ 효과

• 공격자가 정확한 주소를 알 수 없어, RET 덮기 실패 확률 ↑
• 쉘코드 주소 예측 불가능

❌ 우회 가능성

• 정보 유출(vulnerability leak)이 발생하면 ASLR 무력화 가능
• 일부 환경(Wine, 일부 Windows 환경)에서는 제한적으로 동작

5. DEP / NX-bit (Data Execution Prevention)

• 데이터 영역을 실행하지 못하게 막는 하드웨어+OS 보안 기술

✅ 주요 원리

• 스택/힙/데이터 영역에 NX(Non-Executable) 속성 부여
• 쉘코드를 올려도 실행 불가

✅ 시스템 적용 예

• Windows: bcdedit /set nx AlwaysOn
• Linux: exec-shield, PaX, grsecurity

❌ 우회 가능성

• ROP (Return-Oriented Programming) 등의 기법으로 우회 가능

6. PIE (Position Independent Executable)

실행 파일 자체를 ASLR처럼 주소 무작위화 가능하게 컴파일하는 방식

✅ PIE vs Non-PIE

항목	PIE	Non-PIE
주소	매 실행 시 바뀜	고정 주소
보안	ASLR 완전 적용	ASLR 제한 적용

✅ 사용법 (GCC)

gcc -fPIE -pie hello.c -o hello

→ 실행할 때마다 .text 영역 주소도 바뀜

7. Fortify Source

위험 함수(strcpy, gets 등) 사용 시 자동으로 보안 기능 추가

✅ 특징

• 컴파일러 레벨 보호
• 컴파일 시 버퍼 크기를 비교해서 경고 또는 종료 처리

✅ 사용법

gcc -D_FORTIFY_SOURCE=2 -O2 example.c -o example

최적화(-O2 이상) 옵션과 함께 사용해야 활성화됨

8. CFI (Control Flow Integrity)

프로그램 흐름이 예상된 제어 흐름을 벗어나지 않도록 감시하는 기술

✅ 원리

• 함수 포인터, RET 주소, vtable 등의 호출 흐름을 화이트리스트 기반으로 검증
• 비정상 호출 시 차단

✅ 적용 예

• LLVM의 CFI, MS의 Control Flow Guard(CFG), Google의 IFCC

✅ 시각 요약: 스택 보호 중심 구조도

[ 지역 변수 ]  ← 공격자 입력 가능
[ Stack Canary ]  ← 변조 감시
[ RET 주소 ]      ← 공격자가 노리는 대상
[ StackShield Table ]  ← 백업된 RET

• Canary: 감시
• Shield: 백업
• DEP: 실행 차단
• ASLR: 주소 예측 차단

🔚 마무리 요약표

기법	범주	주체	요약
Stack Canary / StackGuard	스택 보호	컴파일러/런타임	감시값을 통해 RET 덮기 탐지
StackShield	스택 보호	컴파일러	RET 주소 자체를 별도 저장
ASLR	메모리 난수화	운영체제	주소 무작위화
DEP (NX-bit)	메모리 실행 차단	하드웨어/OS	스택/힙에서 코드 실행 차단
PIE	실행파일 난수화	컴파일러	코드 영역 자체의 위치 무작위화
Fortify Source	함수 호출 보호	컴파일러	위험 함수 감지 및 대체
CFI	흐름 보호	컴파일러/OS	비정상 함수 호출 차단

9. Stack Canary / StackGuard

🧨 우회기법

방법	설명
Canary 유출	포인터 누출/format string 취약점 등을 이용해 Canary 값을 유출하고 동일하게 덮어씀
Partial Overwrite	RET 주소만 정확히 덮고, Canary는 건드리지 않도록 정밀하게 오버플로우
Non-RET 공격	Canary는 RET만 보호하므로, 함수 포인터, GOT, vtable 등 다른 제어 지점 공격

🔍 탐지기법

방법	설명
로그 분석	__stack_chk_fail() 호출 여부 (SIGABRT 발생) 로그 추적
ASAN/UBSAN 사용	Address Sanitizer 등으로 Canary 손상 여부 추적 가능
스택 프레임 분석	GDB로 함수 리턴 전/후 Canary 값 비교

10. StackShield

🧨 우회기법

방법	설명
간접 호출 우회	StackShield는 직접적인 RET 덮기만 보호하므로,
함수 포인터, GOT를 노리는 공격은 우회 가능
컴파일러 우회	StackShield가 적용되지 않은 바이너리나 외부 라이브러리 호출로 우회

🔍 탐지기법

방법	설명
RET 주소 위조 감지	StackShield Table과 스택의 RET 불일치 확인
공격 시 로그/코어덤프 분석	RET Jump 타겟 주소가 비정상적이면 의심
정적 분석 도구 사용	Ghidra, IDA로 RET 흐름 확인

11. ASLR

🧨 우회기법

방법	설명
Information Leak	포인터 누수, format string, /proc/self/maps 등으로 주소 유출 후 우회
Brute Force	재시도 가능한 환경에서 반복 실행 (ex: CGI 서비스, 다중 요청 등)
Relative Addressing	PIE 미적용 바이너리에서 .text 주소는 고정 → 오프셋 계산 가능

🔍 탐지기법

방법	설명
메모리 덤프 분석	maps 파일이나 core dump에서 base 주소가 변하는지 확인
시스템 호출 감시	mmap, execve 호출 시 주소 랜덤 여부 검사
로그 내 실패 반복 확인	반복적인 segmentation fault → brute force 추정 가능

12. DEP / NX-bit

🧨 우회기법

방법	설명
ROP (Return-Oriented Programming)	실행 가능한 기존 코드 조각(gadget)을 연결해 쉘코드 없이 명령 수행
JOP (Jump-Oriented Programming)	RET 대신 JMP를 이용한 우회 공격
RWX 메모리 확보	mmap, VirtualAlloc 등을 통해 실행 가능한 메모리 확보

🔍 탐지기법

방법	설명
ROP Chain 감지	연속된 RET 패턴, 스택의 gadget 주소 확인
메모리 실행 속성 모니터링	페이지 속성 변화 감시 (Windows에서는 EMET 등 활용)
동적 분석 도구 사용	Cuckoo Sandbox, Valgrind 등으로 메모리 접근 추적

13. PIE

🧨 우회기법

방법	설명
정보 유출	GOT, 함수 포인터 등으로 base address 추출
동일 바이너리 재사용	PIE 없이 빌드된 구버전 또는 외부 공유 라이브러리 악용
Relocation Leak	ELF의 PLT/GOT를 통해 offset 계산

🔍 탐지기법

방법	설명
ELF 헤더 확인	readelf -h, checksec 명령어로 PIE 적용 여부 확인
실행 시 base address 추적	여러 번 실행하여 .text 주소 변화 여부 확인
정적 분석 도구	Ghidra에서 PIE 적용된 코드의 주소가 고정되지 않음 확인 가능

14. Fortify Source

🧨 우회기법

방법	설명
보호 대상 함수 외 사용	보호되지 않은 memcpy, 직접 포인터 조작으로 우회
정적 링크 우회	보호되지 않은 라이브러리 직접 링크
컴파일 시 우회	-D_FORTIFY_SOURCE=0로 비활성화된 바이너리 사용

🔍 탐지기법

방법	설명
소스 코드 분석	취약한 함수 사용 여부 탐지 (strcpy 등)
컴파일 로그 확인	보호된 함수는 내부적으로 __chk 함수로 변환됨
GDB 디버깅 중 SIGABRT 감지	fortify 충돌 시 종료됨

15. CFI (Control Flow Integrity)

🧨 우회기법

방법	설명
타입 일치 악용	함수 포인터 타입만 맞으면 호출 가능 → 제한적 우회
vtable 변조	C++ 가상 함수 테이블 위조 → 정적 검증 우회
해당 영역 제외 빌드	CFI 적용되지 않은 바이너리 조작

🔍 탐지기법

방법	설명
정적 분석 도구	Clang CFI, LLVM Pass, BinDiff 등으로 흐름 무결성 분석
런타임 모니터링	CFG 미스매치 로그 추적 (Windows에서는 CFG 로그 발생)
Fuzzing	함수 호출 흐름을 무작위로 유도해 미스매치 유도

🔚 종합 정리표

기법	우회기법	탐지기법
Stack Canary	Canary 유출, Partial Overwrite	__stack_chk_fail, Canary 값 비교
StackShield	RET 이외 제어 공격	RET 백업/실제 비교
ASLR	주소 유출, Brute Force	Base 주소 변화, maps 확인
DEP	ROP, JOP, mmap 사용	Gadget 감지, 메모리 실행 속성 추적
PIE	GOT, PLT leak	checksec, .text 주소 확인
Fortify Source	비보호 함수, 빌드 옵션 우회	__chk 함수 확인, 소스 분석
CFI	타입 우회, vtable 변조	런타임 미스매치, CFG 로그 분석