極點宏觀｜Financial Cloud Cloud · AWS Amarathon 2025
極點宏觀｜Amarathon 2025 回顧 28：現代化統一中繼資料架構：打破資料孤島的新方法
打破資料孤島的簡史
● 1980 年代後期：資料倉儲
● 2011：資料湖
● 2020
湖倉一體（Lakehouse）的目標
● 實現 SSOT（Single Source of Truth，單一真相來源）
● 全面管理資料
● 排除資料外洩、資料驅動型企業合規等風險。
● 雲端與區域中的新資料孤島：沒有人
喜歡供應商「鎖定」
● 如果資料部署在不同的雲端供應商：
● 難以一起處理
● 移動成本高昂
沒有人喜歡地理分散式資料，
● 但資料會隨著企業走向國際化：
● 法規要求
● 跨洋傳輸成本
● 不只是「資料存取」——你看
得見的資料
● 技術與商業資料
● 法律保全資料
你忽略的中繼資料
● 第三方資料
● PII 與 PI 資料
● 憑證
● IP 資料
資料管理功能
● 資料連接：連接至最重要的資料。
● 資料權利自動化：將端對端資料權利請求與報告自動化。
● 中繼資料增補：以商業與營運中繼資料增補技術中繼資料，提供完整可見性。
● 資料探索：自動尋找、分類並繪製所有資料的分布位置，無論資料位於何處。
● 資料分類：在更多位置自動分類更多類型的資料。
● 資料生命週期管理：簡化並自動化從蒐集到銷毀的資料生命週期管理。
什麼是 Gravitino
● 新一代 Data/AI 統一資料目錄
整合
● Trino
● Spark
● Flink
● Doris
● ClickHouse
● PyTorch
● TensorFlow
使用 Gravitino 元件的中繼資料湖
● Hive Metastore
● 內建 Catalog
● Schema Registry
● Fileset 管理
● Model Catalog
資料來源
● Hadoop 資料湖
● 資料倉儲
● 串流處理
● 非結構化資料
● 機器學習
要解決的問題
● 掌握所有資料的「全貌」
● 即使資料以各種方式分散與使用，仍能實現資料的 SSOT
● 在單一位置進行資料治理，並在所有位置保護及稽核資料
● 新一代資料目錄是新型開放資料架構的核心。
Gravitino 架構
功能層
● 統一處理
● 統一治理
介面層
● 統一 REST API
● Iceberg
REST API：採用物件模型的核心
● Metalake
● Catalogs
● Schemas
● 物件類型：Table、Fileset、Model、
Topic：連線層
● Connections
中繼資料儲存
● 支援的資料類型（底層）：
● 表格式資料
● 檔案
● 模型
● 訊息佇列
使用 Gravitino 處理表格式與非表格式資料
表格式資料（透過 connectors）
● 引擎：Spark
● 操作：Create、Load、Alter、Drop
● API：統一表格式 API
Schema（struct）
● name: string
● comment: string
● properties: map<string, string>
Table（struct）
● name: string
● columns: Column[]
● partitioning: Transform[]
● distribution: Distribution
● sortOrder: SortOrder[]
● indexes: Index[]
相關定義
● Transform, Distribution, SortOrder, Index, Type
非表格式資料
● 引擎：Spark、PyTorch、Ray、TensorFlow
● 檔案系統：Gravitino Virtual FileSystem、Python FileSystem
● 操作：Create、Load、Alter、Drop
● API：統一非表格式 API
Schema（struct）
● name: string
● comment: string
● Properties: map<string, string>
Fileset（struct）
● name: string
● storageLocation: string
● type: Type
儲存位置
● S3, HDFS, ADLS, GCS
應用情境
湖倉一體聯邦（Lakehouse Federation）
● 多雲端、多引擎及多格式
● Lakehouse Federation 的開放式解決方案
平台能力
● 分析
● 機器學習
● 360° 視圖
● 應
用程式查詢／語言工具
● SQL
● Python
● R
核心功能
● Gravitino Data Connector
● 跨多雲端、多格式與多引擎的聯邦查詢。
讓資料與 AI 團隊無縫協作
角色
● 資料工程師
● 資料科學家
● AI
工程師：使用情境
● 資料工程師與資料科學家或 AI 工程師之間的高效協作
● 資料科學家取得異質資料來源的統一中繼資料定義
● 資料工程師使用中繼資料處理資料
● 適用於多個 AI 框架的統一中繼資料
● 統一安全控制：
核心技術
● Gravitino
外部因素
● 技術
● 通訊
● ETL
● 物聯網
● 自動化
● 網路：資
料與工具
[ 1 ] 資料匯入：
● Spark
● HDFS Client
● S3 SDK
[ 2 ] 模型訓練：
● Tensorflow
● Pytorch
● Ray
● Gravitino Python 程式庫
[ 3 ] 資料類型：
● 結構化資料
● 非結構化資料：Gravitino
功能
● Gravitino IO（資料讀取與寫入）
● Gravitino ACL（存取控制）
Gravitino Next——中繼資料驅動的動作系統
● Catalog 服務
● API：Unified REST API、Iceberg REST API
● 元件：Catalog、Schema、Table、Fileset、Model、Topic
● 連線：連接各種資料來源（資料庫、檔案）的 connectors
Gravitino Next
● Catalog 服務
● API：Unified REST API、Iceberg REST API
● 元件：Catalog、Schema、Table、Fileset、Model、Topic、Policy
● Job 系統項目：包含的 Job
系統
● Policy 系統
● 統計系統
● Job 系統
● Action
框架：Action 框架項目
● TTL Action
● Compaction Action
● Clustering Action