Categories: 정보관리기술사

제134회 정보관리기술사 2교시 3번 — 데이터 메시(Data Mesh) 아키텍처와 데이터 제품화

Table of Contents

Toggle

제134회 정보관리기술사 2교시 3번 | 데이터 메시(Data Mesh) 아키텍처

중앙집중식 데이터 레이크·웨어하우스는 데이터 팀 병목과 도메인 간 의존성 문제를 야기합니다. Zhamak Dehghani가 제안한 데이터 메시는 도메인 주도 분산 데이터 소유권을 통해 이를 해결합니다.

1. 데이터 메시 개념 및 등장 배경

1-1. 모놀리식 데이터 플랫폼의 한계

중앙 데이터 팀 병목: 모든 도메인의 데이터 파이프라인을 단일 팀이 처리
도메인 지식 단절: 데이터 엔지니어는 비즈니스 맥락을 이해하기 어려움
느린 확장성: 새로운 데이터 소스 추가 시 중앙 파이프라인 수정 필요
Data Swamp화: 품질 관리 부재로 데이터 레이크가 활용 불가 상태로 전락

2. 데이터 메시 4대 원칙

원칙	내용	핵심 역할
① 도메인 소유권 (Domain Ownership)	비즈니스 도메인이 자신의 데이터를 소유·관리	도메인 데이터 오너
② 데이터 제품화 (Data as a Product)	데이터를 발견 가능·사용 가능·신뢰할 수 있는 제품으로 제공	데이터 프로덕트 오너
③ 셀프서브 플랫폼 (Self-Serve Platform)	도메인 팀이 독립적으로 데이터 제품 생성·배포할 수 있는 인프라	플랫폼 엔지니어
④ 연합 거버넌스 (Federated Governance)	글로벌 표준은 중앙이 정의하고, 도메인은 자율 준수	데이터 거버넌스 위원회

3. 데이터 제품(Data Product) 특성

3-1. 우수 데이터 제품의 8가지 속성

발견 가능(Discoverable): 데이터 카탈로그 등록, 메타데이터 제공
주소 지정 가능(Addressable): 고유한 글로벌 주소(URI)로 접근
자체 설명(Self-Describing): 스키마·계보·의미 문서 포함
신뢰 가능(Trustworthy): SLO(품질 지표) 선언 및 준수
원시 데이터 접근(Native Access): 여러 접근 방식 지원(API·파일·스트림)
상호 운용 가능(Interoperable): 표준 포맷·프로토콜 사용
안전(Secure): 접근 제어·암호화·개인정보 처리
가치 지향(Valuable): 소비자가 실제로 사용하는 제품

4. 데이터 메시 vs 데이터 패브릭(Data Fabric)

구분	데이터 메시	데이터 패브릭
접근 방식	조직적·사회적(분산 책임)	기술적·자동화(중앙 통합)
데이터 소유	도메인 팀	중앙 데이터 플랫폼
거버넌스	연합 (도메인 자율 + 글로벌 표준)	중앙 집중
확장 방식	도메인 단위 수평 확장	플랫폼 기술 확장
AI/ML 활용	도메인별 AI 파이프라인	AI 기반 자동 데이터 통합
적합 조직	대규모 다도메인 조직	중소 기업, 통합 우선 조직