극점매크로｜Financial Cloud Cloud · AWS Amarathon 2025
극점매크로｜Amarathon 2025 정리 28：현대적인 통합 메타데이터 아키텍처: 데이터 사일로를 허무는 새로운 접근 방식
데이터 사일로 해소의 간략한 역사
● 1980년대 후반: 데이터 웨어하우스
● 2011: 데이터 레이크
● 2020: 레이크하우스의
목표
● SSOT (Single Source of Truth) 달성
● 데이터의 완전한 관리
● 데이터 유출, 데이터 기반 비즈니스의 규정 준수 등 위험 제거. 클라우드
● 및 리전의 새로운 데이터 사일로 누구도
벤더 “종속”을 좋아하지 않음
● 데이터가 서로 다른 클라우드 벤더에 배포된 경우:
● 함께 처리하기 어려움
● 이동 비용이 많이 듦
누구도 지리적으로 분산된 데이터를 좋아하지 않음,
● 하지만 비즈니스가 국제화되면서 데이터도 함께 이동함:
● 규제 요구 사항
● 대양 횡단 전송 비용
● "데이터 액세스" 그 이상
눈에 보이는 데이터
● 기술 및 비즈니스 데이터
● 법적 보존
데이터 간과하는 메타데이터
● 서드 파티 데이터
● PII 및 PI 데이터
● 자격 증명
● IP 데이터
데이터 관리 기능
● 데이터 연결: 가장 중요한 데이터에 연결.
● 데이터 권리 자동화: 엔드 투 엔드 데이터 권리 요청 및 보고를 자동화.
● 메타데이터 강화: 완전한 가시성을 확보하도록 기술 메타데이터를 비즈니스 및 운영 메타데이터로 강화.
● 데이터 검색: 어디서든 모든 데이터를 자동으로 찾고 분류하고 매핑.
● 데이터 분류: 더 많은 위치에서 더 다양한 유형의 데이터를 자동으로 분류.
● 데이터 수명 주기 관리: 수집부터 폐기까지 데이터 수명 주기 관리를 간소화하고 자동화.
Gravitino란 데이터/AI를
● 위한 차세대 통합 데이터 카탈로그
연동
● Trino
● Spark
● Flink
● Doris
● ClickHouse
● PyTorch
● TensorFlow
메타데이터 레이크, Gravitino 구성 요소 사용
● Hive Metastore
● 내장 카탈로그
● 스키마 레지스트리
● Fileset 관리
● 모델 카탈로그
데이터 소스
● Hadoop Data Lake
● 데이터 웨어하우스
● 스트리밍 처리
● 비정형 데이터
● 머신 러닝
해결 과제
● 전체 데이터의 "큰 그림" 파악
● 데이터가 분산되어 다양한 방식으로 사용되는 동안에도 데이터의 SSOT 달성
● 데이터 거버넌스를 한곳에서 수행하고 어디서나 데이터를 보호하고 감사
● 차세대 데이터 카탈로그는 새로운 오픈 데이터 아키텍처의 핵심.
Gravitino 아키텍처
기능 계층
● 통합 처리
● 통합 거버넌스
인터페이스 계층
● Unified REST API
● Iceberg REST API
객체 모델 기반 코어
● Metalake
● Catalogs
● Schemas
● 객체 유형: Table, Fileset, Model, Topic
연결 계층
● 연결
메타데이터 스토리지
● 지원되는 데이터 유형(하위 계층):
● 테이블형
● 파일
● 모델
● 메시지 큐
Gravitino로 테이블형 및 비테이블형 데이터 처리
테이블형 데이터(커넥터를 통해)
● 엔진: Spark
● 작업: Create, Load, Alter, Drop
● API: Unified Tabular API
스키마 (struct)
● name: string
● comment: string
● properties: map<string, string>
Table (struct)
● name: string
● columns: Column[]
● partitioning: Transform[]
● distribution: Distribution
● sortOrder: SortOrder[]
● indexes: Index[]
관련 정의
● Transform, Distribution, SortOrder, Index, Type
비테이블형 데이터
● 엔진: Spark, PyTorch, Ray, TensorFlow
● 파일 시스템: Gravitino Virtual FileSystem, Python FileSystem
● 작업: Create, Load, Alter, Drop
● API: Unified Non-tabular API
스키마 (struct)
● name: string
● comment: string
● 속성: map<string, string>
Fileset (struct)
● name: string
● storageLocation: string
● type: Type
스토리지 위치
● S3, HDFS, ADLS, GCS
시나리오
레이크하우스 페더레이션
● 멀티 클라우드, 멀티 엔진 및 멀티 포맷
● 레이크하우스 페더레이션을 위한 개방형 솔루션
플랫폼 기능
● 분석
● 머신 러닝
● 360° 뷰
● 앱
쿼리/언어 도구
● SQL
● Python
● R
핵심 기능
● Gravitino Data Connector
● 멀티 클라우드, 멀티 포맷 및 멀티 엔진을 아우르는 페더레이션 쿼리.
데이터 및 AI 팀의 원활한 협업 지원
역할
● 데이터 엔지니어
● 데이터 사이언티스트
● AI 엔지니어
사용 시나리오
● 데이터 엔지니어와 데이터 사이언티스트 또는 AI 엔지니어 간의 효율적인 협업
● 데이터 사이언티스트는 이기종 데이터 소스에 대한 통합 메타데이터 정의를 확보
● 데이터 엔지니어는 메타데이터를 사용해 데이터를 처리
● 여러 AI 프레임워크를 위한 통합 메타데이터
● 통합 보안 제어
핵심 기술
● Gravitino
외부 요인
● 기술
● 커뮤니케이션
● ETL
● 사물 인터넷
● 자동화
● 네트워킹
데이터 및 도구
[ 1 ] 데이터 수집:
● Spark
● HDFS Client
● S3 SDK
[ 2 ] 모델 훈련:
● Tensorflow
● Pytorch
● Ray
● Gravitino Python 라이브러리
[ 3 ] 데이터 유형:
● 정형 데이터
● 비정형 데이터
Gravitino 기능
● Gravitino IO(데이터 읽기 및 쓰기)
● Gravitino ACL(액세스 제어)
Gravitino Next - 메타데이터 기반 액션 시스템
● 카탈로그 서비스
● API: Unified REST API, Iceberg REST API
● 구성 요소: Catalog, Schema, Table, Fileset, Model, Topic
● 연결: 다양한 데이터 소스(데이터베이스, 파일)에 연결하는 커넥터
Gravitino Next
● 카탈로그 서비스
● API: Unified REST API, Iceberg REST API
● 구성 요소: Catalog, Schema, Table, Fileset, Model, Topic, Policy
● 작업 시스템 항목: 포함된
작업 시스템
● 정책 시스템
● 통계 시스템
● 작업 시스템
● 액션 프레임워크
액션 프레임워크 항목
● TTL Action
● Compaction Action
● Clustering Action