Categories: 정보관리기술사

제134회 정보관리기술사 2교시 3번 — 데이터 메시(Data Mesh) 아키텍처와 데이터 제품화

중앙집중식 데이터 레이크·웨어하우스는 데이터 팀 병목과 도메인 간 의존성 문제를 야기합니다. Zhamak Dehghani가 제안한 데이터 메시는 도메인 주도 분산 데이터 소유권을 통해 이를 해결합니다.

1. 데이터 메시 개념 및 등장 배경

1-1. 모놀리식 데이터 플랫폼의 한계

  • 중앙 데이터 팀 병목: 모든 도메인의 데이터 파이프라인을 단일 팀이 처리
  • 도메인 지식 단절: 데이터 엔지니어는 비즈니스 맥락을 이해하기 어려움
  • 느린 확장성: 새로운 데이터 소스 추가 시 중앙 파이프라인 수정 필요
  • Data Swamp화: 품질 관리 부재로 데이터 레이크가 활용 불가 상태로 전락

2. 데이터 메시 4대 원칙

원칙 내용 핵심 역할
① 도메인 소유권
(Domain Ownership)
비즈니스 도메인이 자신의 데이터를 소유·관리 도메인 데이터 오너
② 데이터 제품화
(Data as a Product)
데이터를 발견 가능·사용 가능·신뢰할 수 있는 제품으로 제공 데이터 프로덕트 오너
③ 셀프서브 플랫폼
(Self-Serve Platform)
도메인 팀이 독립적으로 데이터 제품 생성·배포할 수 있는 인프라 플랫폼 엔지니어
④ 연합 거버넌스
(Federated Governance)
글로벌 표준은 중앙이 정의하고, 도메인은 자율 준수 데이터 거버넌스 위원회

3. 데이터 제품(Data Product) 특성

3-1. 우수 데이터 제품의 8가지 속성

발견 가능(Discoverable): 데이터 카탈로그 등록, 메타데이터 제공
주소 지정 가능(Addressable): 고유한 글로벌 주소(URI)로 접근
자체 설명(Self-Describing): 스키마·계보·의미 문서 포함
신뢰 가능(Trustworthy): SLO(품질 지표) 선언 및 준수
원시 데이터 접근(Native Access): 여러 접근 방식 지원(API·파일·스트림)
상호 운용 가능(Interoperable): 표준 포맷·프로토콜 사용
안전(Secure): 접근 제어·암호화·개인정보 처리
가치 지향(Valuable): 소비자가 실제로 사용하는 제품

4. 데이터 메시 vs 데이터 패브릭(Data Fabric)

구분 데이터 메시 데이터 패브릭
접근 방식 조직적·사회적(분산 책임) 기술적·자동화(중앙 통합)
데이터 소유 도메인 팀 중앙 데이터 플랫폼
거버넌스 연합 (도메인 자율 + 글로벌 표준) 중앙 집중
확장 방식 도메인 단위 수평 확장 플랫폼 기술 확장
AI/ML 활용 도메인별 AI 파이프라인 AI 기반 자동 데이터 통합
적합 조직 대규모 다도메인 조직 중소 기업, 통합 우선 조직

5. 데이터 메시 구현 아키텍처

5-1. 셀프서브 플랫폼 구성

  • 데이터 제품 SDK: 도메인이 제품 생성·배포하는 표준 도구
  • 데이터 카탈로그: DataHub·Apache Atlas·Amundsen으로 발견 가능성 확보
  • 스토리지 계층: Delta Lake·Apache Iceberg — 도메인별 독립 저장소
  • 메시 게이트웨이: 도메인 간 데이터 접근 제어·과금 측정

5-2. 글로벌 정책 vs 도메인 정책

글로벌 (연합 거버넌스): 데이터 분류 기준, PII 처리 정책, 접근 감사, 데이터 SLO 기준
도메인 자율: 스키마 설계, 파이프라인 구현, 배포 주기, 도메인 내부 품질 관리

6. 결론

데이터 메시는 ‘데이터 민주화’를 위한 조직·기술 전환입니다. 4대 원칙 중 ‘데이터 제품화’와 ‘연합 거버넌스’를 먼저 정착시키고, 셀프서브 플랫폼으로 도메인 팀의 자율성을 높이는 순서로 단계적 도입이 효과적입니다.

zerg96

Recent Posts

정보보안기사 필기 핵심 개념, 접근통제·인증 8문제로 정리

필기 시험의 접근통제 영역은 용어 하나만 알아도 풀리는 문제와 개념을 뒤집어 묻는 문제가 섞여 나옵니다.…

2시간 ago

유튜브 AI 영상 범람, 진짜 크리에이터는 어떻게 살아남나

유튜브에 AI 자동 생성 영상이 넘쳐납니다. 진짜 크리에이터들은 어떻게 살아남아야 할까요? AI와 경쟁하는 3가지 생존…

3시간 ago

코스피 사이드카 이틀 만에 또 발동, 올해만 27번째…5분간 멈추는 건 ‘프로그램 매도’뿐입니다

이틀 전에 사이드카가 걸렸을 때만 해도 "한 번 놀란 장"으로 끝날 줄 알았는데요. 15일 아침…

3시간 ago

코스피 낙폭 7%로 확대, 외국인 1.7조 순매도: 10월 15일 오전 10시 시황

오전 시황 글에 이어 장중 후속 정리입니다. 코스피는 개장 직후 5%대였던 낙폭이 오전 10시 전후에…

7시간 ago

코스피 5.59% 급락 출발, 개장 7분 만에 매도 사이드카: 10월 15일 오전 시황

10월 15일 목요일 아침, 코스피가 전날 종가보다 5.59% 낮은 5,673.01로 출발했습니다. 장 시작 7분 만에…

7시간 ago

삼성 갤럭시 AI, 솔직히 기대 이하였다 — 실망스러운 이유 TOP 5

삼성 갤럭시 AI, 써보니 실망스러웠다. 온디바이스 한계, 지역 제한, 낮은 일상 활용도 등 현실적인 문제점…

8시간 ago