📌 원문 문제
데이터 관측가능성(Data Observability)
출제 의도 분석
MLOps·DataOps의 핵심 개념으로 최근 급부상한 트렌드입니다. 소프트웨어 관측가능성(Observability)의 개념을 데이터 파이프라인에 적용한 것으로, 5대 구성 요소를 중심으로 기존 데이터 품질 관리와의 차이점을 서술하면 좋습니다.
1. 개념
데이터 관측가능성(Data Observability)이란 데이터의 상태·흐름·품질을 실시간으로 모니터링하고 이해하는 조직의 능력입니다. 데이터 파이프라인의 복잡도가 증가하면서 발생하는 “데이터 다운타임(Data Downtime)” — 즉, 데이터가 누락·오염·지연되는 상황을 조기에 감지하고 원인을 추적하기 위해 등장했습니다.
2. 5대 핵심 요소 (FDVSL)
| 요소 | 의미 | 이상 신호 예시 |
|---|---|---|
| 신선도(Freshness) | 데이터가 얼마나 최신인가 | 배치 파이프라인 미실행으로 오래된 데이터 |
| 분포(Distribution) | 데이터 값의 통계적 분포 변화 | 평균·분산 급변, 이상값 증가 |
| 볼륨(Volume) | 예상 데이터 양과의 차이 | 행 수 급감 → 업스트림 장애 |
| 스키마(Schema) | 컬럼 구조 변경 감지 | 타입 변경, 컬럼 추가/삭제 |
| 계보(Lineage) | 데이터 흐름 추적(출처→가공→소비) | 장애 영향 범위 파악 |
3. 기존 데이터 품질 관리와의 차이
기존 데이터 품질은 정기적 배치 검사 중심이었다면, 데이터 관측가능성은 실시간 스트리밍 모니터링과 이상 자동 탐지에 초점을 맞춥니다. 소프트웨어 엔지니어링의 APM(Application Performance Monitoring)을 데이터에 적용한 개념입니다.
핵심 정리
Monte Carlo, Acceldata, dbt 등의 도구가 데이터 관측가능성을 지원합니다. 데이터 다운타임을 줄이고 데이터 신뢰성을 높여 ML 모델 품질과 비즈니스 의사결정 정확도를 향상시킵니다.