Categories: 정보관리기술사

제134회 정보관리기술사 2교시 3번 — 데이터 메시(Data Mesh) 아키텍처와 데이터 제품화

중앙집중식 데이터 레이크·웨어하우스는 데이터 팀 병목과 도메인 간 의존성 문제를 야기합니다. Zhamak Dehghani가 제안한 데이터 메시는 도메인 주도 분산 데이터 소유권을 통해 이를 해결합니다.

1. 데이터 메시 개념 및 등장 배경

1-1. 모놀리식 데이터 플랫폼의 한계

  • 중앙 데이터 팀 병목: 모든 도메인의 데이터 파이프라인을 단일 팀이 처리
  • 도메인 지식 단절: 데이터 엔지니어는 비즈니스 맥락을 이해하기 어려움
  • 느린 확장성: 새로운 데이터 소스 추가 시 중앙 파이프라인 수정 필요
  • Data Swamp화: 품질 관리 부재로 데이터 레이크가 활용 불가 상태로 전락

2. 데이터 메시 4대 원칙

원칙 내용 핵심 역할
① 도메인 소유권
(Domain Ownership)
비즈니스 도메인이 자신의 데이터를 소유·관리 도메인 데이터 오너
② 데이터 제품화
(Data as a Product)
데이터를 발견 가능·사용 가능·신뢰할 수 있는 제품으로 제공 데이터 프로덕트 오너
③ 셀프서브 플랫폼
(Self-Serve Platform)
도메인 팀이 독립적으로 데이터 제품 생성·배포할 수 있는 인프라 플랫폼 엔지니어
④ 연합 거버넌스
(Federated Governance)
글로벌 표준은 중앙이 정의하고, 도메인은 자율 준수 데이터 거버넌스 위원회

3. 데이터 제품(Data Product) 특성

3-1. 우수 데이터 제품의 8가지 속성

발견 가능(Discoverable): 데이터 카탈로그 등록, 메타데이터 제공
주소 지정 가능(Addressable): 고유한 글로벌 주소(URI)로 접근
자체 설명(Self-Describing): 스키마·계보·의미 문서 포함
신뢰 가능(Trustworthy): SLO(품질 지표) 선언 및 준수
원시 데이터 접근(Native Access): 여러 접근 방식 지원(API·파일·스트림)
상호 운용 가능(Interoperable): 표준 포맷·프로토콜 사용
안전(Secure): 접근 제어·암호화·개인정보 처리
가치 지향(Valuable): 소비자가 실제로 사용하는 제품

4. 데이터 메시 vs 데이터 패브릭(Data Fabric)

구분 데이터 메시 데이터 패브릭
접근 방식 조직적·사회적(분산 책임) 기술적·자동화(중앙 통합)
데이터 소유 도메인 팀 중앙 데이터 플랫폼
거버넌스 연합 (도메인 자율 + 글로벌 표준) 중앙 집중
확장 방식 도메인 단위 수평 확장 플랫폼 기술 확장
AI/ML 활용 도메인별 AI 파이프라인 AI 기반 자동 데이터 통합
적합 조직 대규모 다도메인 조직 중소 기업, 통합 우선 조직

5. 데이터 메시 구현 아키텍처

5-1. 셀프서브 플랫폼 구성

  • 데이터 제품 SDK: 도메인이 제품 생성·배포하는 표준 도구
  • 데이터 카탈로그: DataHub·Apache Atlas·Amundsen으로 발견 가능성 확보
  • 스토리지 계층: Delta Lake·Apache Iceberg — 도메인별 독립 저장소
  • 메시 게이트웨이: 도메인 간 데이터 접근 제어·과금 측정

5-2. 글로벌 정책 vs 도메인 정책

글로벌 (연합 거버넌스): 데이터 분류 기준, PII 처리 정책, 접근 감사, 데이터 SLO 기준
도메인 자율: 스키마 설계, 파이프라인 구현, 배포 주기, 도메인 내부 품질 관리

6. 결론

데이터 메시는 ‘데이터 민주화’를 위한 조직·기술 전환입니다. 4대 원칙 중 ‘데이터 제품화’와 ‘연합 거버넌스’를 먼저 정착시키고, 셀프서브 플랫폼으로 도메인 팀의 자율성을 높이는 순서로 단계적 도입이 효과적입니다.

zerg96

Recent Posts

요양원 선택 전 반드시 확인해야 할 것들, 부모님 맡기기 전에 보세요

요양원 선택 전 반드시 확인해야 할 체크리스트를 공개합니다. 공식 평가 자료 조회법, 방문 시 확인…

2일 ago

공공기관 채용 비리, 내부에서 터져나온 충격 증언

공공기관 채용 비리의 실태와 피해 지원자의 대응법을 정리했습니다. 채용 비리 신고 방법, 공익신고자 보호제도, 취준생…

2일 ago

주식 손실 났을 때 세금 줄이는 방법, 아는 사람만 씁니다

주식 손실을 세금 절약에 활용하는 합법적 방법을 공개합니다. 해외주식 손익통산, ISA 계좌 활용, 연금계좌 절세까지…

2일 ago

음식 배달 늦으면 소비자가 취소할 수 있다, 몰랐던 권리

배달이 예상 시간보다 크게 늦으면 취소·환불을 요청할 수 있습니다. 배달앱별 지연 취소 방법과 잘못 배달됐을…

2일 ago

휴대폰 요금제 바꾸면 연 수십만원 절약, 지금 내 요금제 확인하세요

통신비 절약의 핵심은 요금제 최적화입니다. 내 데이터 사용량 확인법, 알뜰폰 전환 비교, 위약금 없이 요금제…

2일 ago

퇴직금 못 받았다면, 지금 당장 이렇게 하세요

퇴직 후 퇴직금을 받지 못했다면 즉시 노동부에 신고하세요. 지급 기한, 자격 요건, 신고 방법, 소액체당금…

2일 ago