極点マクロ｜Financial Cloud Cloud · AWS Amarathon 2025
極点マクロ｜Amarathon 2025 振り返り 28：最新の統合メタデータアーキテクチャ：データサイロを解消する新たなアプローチ
データのサイロ化解消に向けた略史
● 1980 年代後半：データウェアハウス
● 2011：データレイク
● 2020
レイクハウス 目標
● SSOT（信頼できる唯一の情報源）の実現
● データの完全な管理
● データ漏えいなどのリスクを排除し、データ駆動型ビジネスのコンプライアンスを確保。クラウドと
● リージョンに生じる新たなデータサイロ
ベンダー「ロックイン」を好む人はいません
● データが異なるクラウドベンダーにデプロイされている場合：
● まとめて処理することが困難
● 移動コストが高い
地理的に分散したデータを好む人はいませんが、
● ビジネスの国際化に伴い、データも移動します：
● 規制要件
● 大洋をまたぐ転送のコスト
● 「データアクセス」だけではない
目に見えるデータ
● 技術データとビジネスデータ
● リーガルホールドデータ
見落とされがちなメタデータ
● サードパーティデータ
● PII と PI データ
● 認証情報
● IP
データ データ管理機能
● データ接続：最も重要なデータに接続します。
● データ権利の自動化：データ権利に関するリクエストとレポートをエンドツーエンドで自動化します。
● メタデータのエンリッチメント：技術メタデータにビジネスおよび運用メタデータを付加し、完全な可視性を確保します。
● データ検出：あらゆる場所にあるすべてのデータを自動的に検出、分類、マッピングします。
● データ分類：より多くの場所で、より多くの種類のデータを自動的に分類します。
● データライフサイクル管理：収集から破棄までのデータライフサイクル管理を簡素化し、自動化します。
Gravitino とは
● データ／AI のための次世代統合データカタログ
連携先
● Trino
● Spark
● Flink
● Doris
● ClickHouse
● PyTorch
● TensorFlow
Gravitino を使用したメタデータレイクのコンポーネント
● Hive Metastore
● 組み込みカタログ
● Schema Registry
● ファイルセット管理
● モデルカタログ
データソース
● Hadoop データレイク
● データウェアハウス
● ストリーミング処理
● 非構造化データ
● 機械学習
解決すべき課題
● データ全体の「全体像」を把握する
● データが分散し、さまざまな方法で利用されている状態でも、データの SSOT を実現する
● データガバナンスを一元化し、あらゆる場所のデータを保護・監査する
● 次世代データカタログは、新しいオープンデータアーキテクチャの中核です。
Gravitino アーキテクチャ
機能レイヤー
● 統合処理
● 統合ガバナンス
インターフェイスレイヤー
● Unified REST API
● Iceberg REST
API オブジェクトモデルを備えた中核
● Metalake
● Catalogs
● Schemas
● オブジェクトタイプ：Table, Fileset, Model, Topic
接続レイヤー
● 接続
メタデータストレージ
● サポートされるデータタイプ（最下層）：
● 表形式
● ファイル
● モデル
● メッセージキュー
Gravitino による表形式データと非表形式データの処理
表形式データ（コネクター経由）
● エンジン：Spark
● 操作：Create, Load, Alter, Drop
● API：Unified Tabular API
スキーマ（struct）
● name: string
● comment: string
● properties: map<string, string>
Table（struct）
● name: string
● columns: Column[]
● partitioning: Transform[]
● distribution: Distribution
● sortOrder: SortOrder[]
● indexes: Index[]
関連する定義
● Transform, Distribution, SortOrder, Index, Type
非表形式データ
● エンジン：Spark, PyTorch, Ray, TensorFlow
● ファイルシステム：Gravitino Virtual FileSystem, Python FileSystem
● 操作：Create, Load, Alter, Drop
● API：Unified Non-tabular API
スキーマ（struct）
● name: string
● comment: string
● Properties: map<string, string>
Fileset（struct）
● name: string
● storageLocation: string
● type: Type
ストレージロケーション
● S3, HDFS, ADLS, GCS
シナリオ
レイクハウスフェデレーション
● マルチクラウド、マルチエンジン、マルチフォーマット
● レイクハウスフェデレーションのためのオープンソリューション
プラットフォームの機能
● 分析
● 機械学習
● 360° ビュー
● アプリケーション
クエリ／言語ツール
● SQL
● Python
● R
中核機能
● Gravitino Data Connector
● マルチクラウド、マルチフォーマット、マルチエンジンを横断するフェデレーテッドクエリ。
データチームと AI チームのシームレスな連携
役割
● データエンジニア
● データサイエンティスト
● AI エンジニア
利用シナリオ
● データエンジニアとデータサイエンティストまたは AI エンジニアとの効率的な連携
● データサイエンティストは、異種データソースに対する統一されたメタデータ定義を取得
● データエンジニアはメタデータを使用してデータを処理
● 複数の AI フレームワークに対応する統合メタデータ
● 統合セキュリティ制御
中核技術
● Gravitino
外部要因
● テクノロジー
● 通信
● ETL
● モノのインターネット
● 自動化
● ネットワーキング
データとツール
[ 1 ] データ取り込み：
● Spark
● HDFS クライアント
● S3 SDK
[ 2 ] モデル学習：
● Tensorflow
● Pytorch
● Ray
● Gravitino Python ライブラリ
[ 3 ] データタイプ：
● 構造化データ
● 非構造化データ Gravitino
の機能
● Gravitino IO（データの読み取りと書き込み）
● Gravitino ACL（アクセス制御）
Gravitino Next - メタデータ駆動型アクションシステム
● カタログサービス
● API：Unified REST API, Iceberg REST API
● コンポーネント：Catalog, Schema, Table, Fileset, Model, Topic
● 接続
さまざまなデータソース（データベース、ファイル）へのコネクター Gravitino Next
● カタログサービス
● API：Unified REST API, Iceberg REST API
● コンポーネント：Catalog, Schema, Table, Fileset, Model, Topic, Policy
● ジョブシステムの項目：含ま
れるジョブシステム
● ポリシーシステム
● 統計システム
● ジョブシステム
● アクションフレームワーク
アクションフレームワークの項目
● TTL アクション
● コンパクションアクション
● クラスタリングアクション