极点宏观｜Financial Cloud Cloud · AWS Amarathon 2025
极点宏观｜Amarathon 2025 回顾 28：现代统一元数据架构：打破数据孤岛的新方法
打破数据孤岛的简史
● 1980 年代后期：数据仓库
● 2011：数据湖
● 2020
湖仓一体（Lakehouse）目标
● 实现 SSOT（Single Source of Truth，单一事实来源）
● 全面管理数据
● 消除数据泄露、数据驱动型企业合规等风险。云和区域中的新数据孤岛
● 没有人喜欢被供
应商“锁定”
● 如果数据部署在不同的云服务提供商：
● 难以一起处理
● 迁移成本高昂
没有人喜欢地理分布式数据，
● 但数据会随着企业走向国际化：
● 法规要求
● 跨洋传输成本
● 不只是“数据访问”
你看到的数据
● 技术和业务数据
● 法律保全数据
你忽略的元数据
● 第三方数据
● PII 和 PI 数据
● 凭证
● IP
数据 数据管理功能
● 数据连接：连接最重要的数据。
● 数据权利自动化：自动执行端到端数据权利请求和报告。
● 元数据丰富：使用业务和运营元数据丰富技术元数据，实现全面可见。
● 数据发现：自动查找、分类并映射所有数据，无论数据位于何处。
● 数据分类：在更多位置自动对更多类型的数据进行分类。
● 数据生命周期管理：简化并自动执行从收集到销毁的数据生命周期管理。
什么是 Gravitino
● 面向 Data/AI 的新一代统一数据目录
集成
● Trino
● Spark
● Flink
● Doris
● ClickHouse
● PyTorch
● TensorFlow
使用 Gravitino 组件的元数据湖
● Hive Metastore
● 内置 Catalog
● Schema Registry
● Fileset 管理
● Model Catalog
数据源
● Hadoop 数据湖
● 数据仓库
● 流处理
● 非结构化数据
● 机器学习
要解决的问题
● 掌握所有数据的“全貌”
● 即使数据以各种方式分布和使用，仍能实现数据的 SSOT
● 在一个位置进行数据治理，在所有位置保护和审计数据
● 新一代数据目录是新型开放数据架构的核心。
Gravitino 架构
功能层
● 统一处理
● 统一治理
接口层
● Unified REST API
● Iceberg REST
API 采用对象模型的核心
● Metalake
● Catalogs
● Schemas
● 对象类型：Table、Fileset、Model、Topic
连接层
● Connections
元数据存储
● 支持的数据类型（底层）：
● 表格
● 文件
● 模型
● 消息队列
使用 Gravitino 处理表格和非表格数据
表格数据（通过 connectors）
● 引擎：Spark
● 操作：Create、Load、Alter、Drop
● API：统一表格 API
Schema（struct）
● name: string
● comment: string
● properties: map<string, string>
Table（struct）
● name: string
● columns: Column[]
● partitioning: Transform[]
● distribution: Distribution
● sortOrder: SortOrder[]
● indexes: Index[]
相关定义
● Transform, Distribution, SortOrder, Index, Type
非表格数据
● 引擎：Spark、PyTorch、Ray、TensorFlow
● 文件系统：Gravitino Virtual FileSystem、Python FileSystem
● 操作：Create、Load、Alter、Drop
● API：统一非表格 API
Schema（struct）
● name: string
● comment: string
● Properties: map<string, string>
Fileset（struct）
● name: string
● storageLocation: string
● type: Type
存储位置
● S3, HDFS, ADLS, GCS
场景
湖仓一体联邦（Lakehouse Federation）
● 多云、多引擎和多格式
● Lakehouse Federation 的开放式解决方案
平台能力
● 分析
● 机器学习
● 360° 视图
● 应
用查询／语言工具
● SQL
● Python
● R
核心功能
● Gravitino Data Connector
● 跨多云、多格式和多引擎的联邦查询。
让数据和 AI 团队无缝协作
角色
● 数据工程师
● 数据科学家
● AI 工程师
使用场景
● 数据工程师与数据科学家或 AI 工程师之间的高效协作
● 数据科学家获得异构数据源的统一元数据定义
● 数据工程师使用元数据处理数据
● 适用于多个 AI 框架的统一元数据
● 统一安全控制
核心技术
● Gravitino
外部因素
● 技术
● 通信
● ETL
● 物联网
● 自动化
● 网络
数据与工具
[ 1 ] 数据摄取：
● Spark
● HDFS Client
● S3 SDK
[ 2 ] 模型训练：
● Tensorflow
● Pytorch
● Ray
● Gravitino Python 库
[ 3 ] 数据类型：
● 结构化数据
● 非结构化数据 Gravitino
功能
● Gravitino IO（数据读写）
● Gravitino ACL（访问控制）
Gravitino Next——元数据驱动的操作系统
● Catalog 服务
● API：Unified REST API、Iceberg REST API
● 组件：Catalog、Schema、Table、Fileset、Model、Topic
● 连接
连接各种数据源（数据库、文件）的 connectors Gravitino Next
● Catalog 服务
● API：Unified REST API、Iceberg REST API
● 组件：Catalog、Schema、Table、Fileset、Model、Topic、Policy
● Job 系统项目：包括的 Job
系统
● Policy 系统
● 统计系统
● Job 系统
● Action 框架
Action 框架项目
● TTL Action
● Compaction Action
● Clustering Action