I. 개요
데이터 메시(Data Mesh)란 중앙 집중식 데이터 플랫폼의 병목을 해소하기 위해 도메인별 팀이 데이터를 소유·운영하는 분산형 데이터 아키텍처이다. Zhamak Dehghani(ThoughtWorks, 2019)가 제안하였으며, 마이크로서비스 설계 원칙을 데이터 도메인에 적용한 개념이다. 단일 데이터 레이크의 확장성 한계와 중앙 데이터팀 병목 문제를 근본적으로 해결한다.
II. 기존 아키텍처와 비교
| 구분 | Data Warehouse | Data Lake | Data Mesh |
|---|---|---|---|
| 소유권 | 중앙 데이터팀 | 중앙 데이터 플랫폼 | 도메인 팀 |
| 스키마 | Schema-on-Write | Schema-on-Read | 도메인별 계약 |
| 확장성 | 비용 높음 | 기술 부채 누적 | 도메인 독립 확장 |
III. 데이터 메시 4대 원칙
- ① 도메인 중심 소유권 (Domain-Oriented Ownership): 데이터 생산자 도메인 팀이 데이터의 수집·처리·서빙에 대한 책임 전담. 주문 도메인은 주문 데이터를, 고객 도메인은 고객 데이터를 소유
- ② 제품으로서의 데이터 (Data as a Product): 데이터를 내부 소비자가 신뢰·활용할 수 있는 제품처럼 관리. 발견 가능성(Discoverable)·주소 지정 가능성·신뢰성·자기 서술성(Self-describing) 등 품질 기준 준수
- ③ 셀프 서비스 데이터 플랫폼 (Self-Serve Data Platform): 도메인 팀이 중앙 플랫폼에 의존 없이 데이터 제품을 생성·배포·모니터링할 수 있는 셀프서비스 인프라 제공
- ④ 연합 컴퓨테이셔널 거버넌스 (Federated Computational Governance): 전사 표준(보안·개인정보·상호운용성 정책)을 코드로 자동 적용하면서 도메인 자율성 보장
IV. 결론 및 기술사 관점
데이터 메시는 기술이 아닌 조직·문화·거버넌스 패러다임 전환을 수반한다. 도입 성숙도가 낮은 조직에서 전면 전환 시 데이터 품질 불균형·표준 파편화 위험이 있으므로, Data Contract(도메인 간 데이터 인터페이스 명세) 체계와 셀프서비스 플랫폼의 선행 구축이 필수이다.
핵심 키워드: Data Mesh, Domain-Oriented Ownership, Data as a Product, Self-Serve Platform, Federated Governance, Data Contract, Zhamak Dehghani, Data Lake 한계
데이터 메시 도입의 거버넌스 설계
데이터 메시의 어려움은 기술보다 분산된 소유권 속에서 어떻게 일관된 규칙을 유지하느냐에 있습니다. 도메인이 자유롭게 데이터를 공개하면 같은 개념이 서로 다른 의미로 쓰여 신뢰가 무너집니다.
그래서 연합 거버넌스가 필요합니다. 도메인 대표와 플랫폼 팀이 모여 상호운용 표준(식별자, 명명 규칙, 메타데이터 스키마), 보안·프라이버시 정책, 품질 기준을 정하고, 가능한 한 플랫폼이 이를 자동으로 강제합니다.
- 데이터 제품 계약: 스키마, 갱신 주기, 품질 지표, 담당자를 명시합니다.
- 셀프서비스 플랫폼: 파이프라인 템플릿, 카탈로그, 접근 요청 자동화를 제공해 도메인의 부담을 줄입니다.
- 공통 식별자: 고객 ID 같은 핵심 개념은 전사 표준을 둡니다.
- 정책의 코드화: 개인정보 마스킹과 보존 기간을 자동 적용합니다.
- 도입 순서: 한두 개 도메인을 시범으로 시작해 효과를 보인 뒤 확산합니다.
정리 포인트
4대 원칙을 쓰고, 분산과 일관성의 균형을 연합 거버넌스로 푼다는 점을 강조하세요.
4대 원칙을 쓰고, 분산과 일관성의 균형을 연합 거버넌스로 푼다는 점을 강조하세요.
※ 이 글은 학습·참고용 정리입니다. 제품 사양과 표준 개정 사항은 공식 문서에서 최신 내용을 확인하세요.