← Financial Cloud Cloud 云端社群 · Amarathon 2025 回顾

极点宏观|Financial Cloud Cloud · AWS Amarathon 2025

极点宏观|Amarathon 2025 回顾 28:现代统一元数据架构:打破数据孤岛的新方法

演讲者: Shaofeng Shi

场次: 28

场次
Summit Dev Lounge2026 Re:cap
01 把架构写成 Steering,引导 AI Agent
02 Agent Harness 才是真正的工程护城河
03 用白话询问可观测性数据
04 以 Bedrock AgentCore 打造 Serverless AR 游戏
05 AgentCore 上的多 Agent 量化回测
06 三分钟用 Kiro 把博客变成幻灯片
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 实现 AWS 合规
03 从初学者到构建者:一段精彩的 AWS 云之旅
04 以团队为先:使用 Laravel 与 Bref 开展无服务器工程
05 活动开幕式
06 智能体到智能体:在 AWS 上构建可互操作的 AI
07 利用另一类遥测数据,借助 AI 智能体更快改进
08 告别氛围编程:使用 Kiro 进行规格驱动开发
09 使用 MCP 与 AI 智能体进行自动化测试
10 使用机器学习方法实现电信安全现代化
11 重新思考生成式 AI 智能体:RAG 与 MCP
12 使用 TAK 和 AWS 开展灾难与应急响应
13 从测试视角重新思考无服务器应用程序工作流
14 Practical AWS FinOps for Cloud Success
15 基于 AWS 的 AI 驱动全球纯 Alpha 宏观交易:重塑风险调整后资产收益
FSI Recap
01 现代交易生命周期:从交易到结算
02 Goldman Sachs:通过 Fast Track 加速应用程序上云 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上构建高效的日志管理解决方案
04 FSI Meetup 2025 年第四季度 - Brex 数据库灾难恢复
05 FSI Meetup 2025 Q4 - Graviton 迁移成功案例
06 FSI Meetup 2025 Q4 - Stifel 现代数据平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易数据对账系统
08 FSI Meetup 2025 Q4 - 规模化提升韧性
09 最大限度提高 AI 推理成本效益:战略性采用 AWS GPU 实例
10 高级智能体 AI 设计模式
11 在 AWS 上构建全新的现代化应用
AWS re:Invent 2025
01 Coinbase re:Invent 回顾 (IND3312)
02 利用 AI 和 AWS 构建未来交易平台
03 交易创新:Jefferies 基于 Amazon Bedrock 构建的 AI 助手 (IND3315)
04 FSI 如何通过 Agentic AI (GBL302) 彻底改变 HFT 分析
05 使用 Amazon Time Sync 改进分布式系统(采用 Nasdaq)
06 Amazon Aurora HA 和 DR 全球弹性设计模式 (DAT442)
07 构建智能体式 AI:Amazon Nova Act 与 Strands Agents 实践 (DEV327)
08 深入探讨 Amazon Aurora 及其创新 (DAT441)
09 深入探讨 Amazon S3(STG407)
10 Nasdaq:为全球金融服务构建弹性基础设施 (HMC327)
11 AWS Lambda 新功能 (CNS376)
12 使用 Kiro 进行规范驱动开发 (DEV314)
13 Amazon 的 FinOps:全球电商巨头的云成本管理经验 (AMZ308)
14 AWS 上交易平台的 Tick-to-Trade 延迟
政务数据
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 端侧多模态 AI 与智慧城市实践
03 大模型能力评测与 AI 项目落地方法论
04 基于云代理的政府开发全链路受控自动化
05 从多智能体看 Agent 时代软件新生态
06 AI 驱动的宏观量化研究与智慧治理
07 公共数据授权运营与智慧政务实践
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技术赋能心理健康公益:可信平台的治理、架构与实践
Amarathon 2025 回顾
01 开发者的智能体架构设计路线图
02 Amazon Bedrock 数据自动化
03 AgentCore 上的多智能体
04 实践中构建智能体式 AI:Nova Act 与 Strands Agents
04 使用规格驱动开发,通过 Kiro 加速迁移项目
06 从「匹配」到「理解」:由 AgentCore Memory 驱动的个性化 AI 搜索实践
07 从观察到优化:从 LLM 可观测性迈向 AIOps,将实时洞察转化为智慧自动化
08 部署 TEAM 并打造最佳工程团队
09 五年来所谓无服务器数据库带来的五个惨痛教训
14 如果 AI 替我工作会怎样:Q Developer CLI 与 Kiro 如何改变我的日常工作
16 兼顾速度与警觉:Amazon Bedrock Agent 开发的安全要点
26 在单张 H100 上运行 OSS LLM:更智能、更便宜、更快速
28 现代统一元数据架构:打破数据孤岛的新方法
29 无服务器 MediaOps:使用 Amazon Web Services 上的 AI 自动化视频工作流
30 通过大规模性能测试构建兼具效率与可靠性的架构
31 通过开源连接世界:技术、社区与全球开发者关系的实践历程
33 构建流式 Iceberg 表以进行实时物流分析
34 加速大规模机器人策略训练:基于 Kiro、Trainium 和 EKS 的自动化闭环架构
35 通过规格驱动开发,从 Vibe 走向可行方案
36 让云成本分析更智能:使用 Strands 和 AgentCore 构建 FinOps 智能体
37 使用 CNCF Kagent、K8sGPT 和 Nova Sonic 转型 K8s 对话式智能体 AIOps

打破数据孤岛的简史

● 1980 年代后期:数据仓库

● 2011:数据湖

● 2020

湖仓一体(Lakehouse)目标

● 实现 SSOT(Single Source of Truth,单一事实来源)

● 全面管理数据

● 消除数据泄露、数据驱动型企业合规等风险。云和区域中的新数据孤岛

● 没有人喜欢被供

应商“锁定”

● 如果数据部署在不同的云服务提供商:

● 难以一起处理

● 迁移成本高昂

没有人喜欢地理分布式数据,

● 但数据会随着企业走向国际化:

● 法规要求

● 跨洋传输成本

● 不只是“数据访问”

你看到的数据

● 技术和业务数据

● 法律保全数据

你忽略的元数据

● 第三方数据

● PII 和 PI 数据

● 凭证

● IP

数据 数据管理功能

● 数据连接:连接最重要的数据。

● 数据权利自动化:自动执行端到端数据权利请求和报告。

● 元数据丰富:使用业务和运营元数据丰富技术元数据,实现全面可见。

● 数据发现:自动查找、分类并映射所有数据,无论数据位于何处。

● 数据分类:在更多位置自动对更多类型的数据进行分类。

● 数据生命周期管理:简化并自动执行从收集到销毁的数据生命周期管理。


什么是 Gravitino

● 面向 Data/AI 的新一代统一数据目录

集成

● Trino

● Spark

● Flink

● Doris

● ClickHouse

● PyTorch

● TensorFlow

使用 Gravitino 组件的元数据湖

● Hive Metastore

● 内置 Catalog

● Schema Registry

● Fileset 管理

● Model Catalog

数据源

● Hadoop 数据湖

● 数据仓库

● 流处理

● 非结构化数据

● 机器学习

要解决的问题

● 掌握所有数据的“全貌”

● 即使数据以各种方式分布和使用,仍能实现数据的 SSOT

● 在一个位置进行数据治理,在所有位置保护和审计数据

● 新一代数据目录是新型开放数据架构的核心。


Gravitino 架构

功能层

● 统一处理

● 统一治理

接口层

● Unified REST API

● Iceberg REST

API 采用对象模型的核心

● Metalake

● Catalogs

● Schemas

● 对象类型:Table、Fileset、Model、Topic

连接层

● Connections

元数据存储

● 支持的数据类型(底层):

● 表格

● 文件

● 模型

● 消息队列


使用 Gravitino 处理表格和非表格数据

表格数据(通过 connectors)

● 引擎:Spark

● 操作:Create、Load、Alter、Drop

● API:统一表格 API

Schema(struct)

● name: string

● comment: string

● properties: map<string, string>

Table(struct)

● name: string

● columns: Column[]

● partitioning: Transform[]

● distribution: Distribution

● sortOrder: SortOrder[]

● indexes: Index[]

相关定义

● Transform, Distribution, SortOrder, Index, Type


非表格数据

● 引擎:Spark、PyTorch、Ray、TensorFlow

● 文件系统:Gravitino Virtual FileSystem、Python FileSystem

● 操作:Create、Load、Alter、Drop

● API:统一非表格 API

Schema(struct)

● name: string

● comment: string

● Properties: map<string, string>

Fileset(struct)

● name: string

● storageLocation: string

● type: Type

存储位置

● S3, HDFS, ADLS, GCS


场景

湖仓一体联邦(Lakehouse Federation)

● 多云、多引擎和多格式

● Lakehouse Federation 的开放式解决方案

平台能力

● 分析

● 机器学习

● 360° 视图

● 应

用查询/语言工具

● SQL

● Python

● R

核心功能

● Gravitino Data Connector

● 跨多云、多格式和多引擎的联邦查询。


让数据和 AI 团队无缝协作

角色

● 数据工程师

● 数据科学家

● AI 工程师

使用场景

● 数据工程师与数据科学家或 AI 工程师之间的高效协作

● 数据科学家获得异构数据源的统一元数据定义

● 数据工程师使用元数据处理数据

● 适用于多个 AI 框架的统一元数据

● 统一安全控制

核心技术

● Gravitino

外部因素

● 技术

● 通信

● ETL

● 物联网

● 自动化

● 网络

数据与工具

[ 1 ] 数据摄取:

● Spark

● HDFS Client

● S3 SDK

[ 2 ] 模型训练:

● Tensorflow

● Pytorch

● Ray

● Gravitino Python 库

[ 3 ] 数据类型:

● 结构化数据

● 非结构化数据 Gravitino

功能

● Gravitino IO(数据读写)

● Gravitino ACL(访问控制)


Gravitino Next——元数据驱动的操作系统

● Catalog 服务

● API:Unified REST API、Iceberg REST API

● 组件:Catalog、Schema、Table、Fileset、Model、Topic

● 连接

连接各种数据源(数据库、文件)的 connectors Gravitino Next

● Catalog 服务

● API:Unified REST API、Iceberg REST API

● 组件:Catalog、Schema、Table、Fileset、Model、Topic、Policy

● Job 系统项目:包括的 Job

系统

● Policy 系统

● 统计系统

● Job 系统

● Action 框架

Action 框架项目

● TTL Action

● Compaction Action

● Clustering Action