← Financial Cloud Cloud 雲端社群 · Amarathon 2025 回顧

極點宏觀|Financial Cloud Cloud · AWS Amarathon 2025

極點宏觀|Amarathon 2025 回顧 28:現代化統一中繼資料架構:打破資料孤島的新方法

講者: Shaofeng Shi

場次: 28

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

打破資料孤島的簡史

● 1980 年代後期:資料倉儲

● 2011:資料湖

● 2020

湖倉一體(Lakehouse)的目標

● 實現 SSOT(Single Source of Truth,單一真相來源)

● 全面管理資料

● 排除資料外洩、資料驅動型企業合規等風險。

● 雲端與區域中的新資料孤島:沒有人

喜歡供應商「鎖定」

● 如果資料部署在不同的雲端供應商:

● 難以一起處理

● 移動成本高昂

沒有人喜歡地理分散式資料,

● 但資料會隨著企業走向國際化:

● 法規要求

● 跨洋傳輸成本

● 不只是「資料存取」——你看

得見的資料

● 技術與商業資料

● 法律保全資料

你忽略的中繼資料

● 第三方資料

● PII 與 PI 資料

● 憑證

● IP 資料

資料管理功能

● 資料連接:連接至最重要的資料。

● 資料權利自動化:將端對端資料權利請求與報告自動化。

● 中繼資料增補:以商業與營運中繼資料增補技術中繼資料,提供完整可見性。

● 資料探索:自動尋找、分類並繪製所有資料的分布位置,無論資料位於何處。

● 資料分類:在更多位置自動分類更多類型的資料。

● 資料生命週期管理:簡化並自動化從蒐集到銷毀的資料生命週期管理。


什麼是 Gravitino

● 新一代 Data/AI 統一資料目錄

整合

● Trino

● Spark

● Flink

● Doris

● ClickHouse

● PyTorch

● TensorFlow

使用 Gravitino 元件的中繼資料湖

● Hive Metastore

● 內建 Catalog

● Schema Registry

● Fileset 管理

● Model Catalog

資料來源

● Hadoop 資料湖

● 資料倉儲

● 串流處理

● 非結構化資料

● 機器學習

要解決的問題

● 掌握所有資料的「全貌」

● 即使資料以各種方式分散與使用,仍能實現資料的 SSOT

● 在單一位置進行資料治理,並在所有位置保護及稽核資料

● 新一代資料目錄是新型開放資料架構的核心。


Gravitino 架構

功能層

● 統一處理

● 統一治理

介面層

● 統一 REST API

● Iceberg

REST API:採用物件模型的核心

● Metalake

● Catalogs

● Schemas

● 物件類型:Table、Fileset、Model、

Topic:連線層

● Connections

中繼資料儲存

● 支援的資料類型(底層):

● 表格式資料

● 檔案

● 模型

● 訊息佇列


使用 Gravitino 處理表格式與非表格式資料

表格式資料(透過 connectors)

● 引擎:Spark

● 操作:Create、Load、Alter、Drop

● API:統一表格式 API

Schema(struct)

● name: string

● comment: string

● properties: map<string, string>

Table(struct)

● name: string

● columns: Column[]

● partitioning: Transform[]

● distribution: Distribution

● sortOrder: SortOrder[]

● indexes: Index[]

相關定義

● Transform, Distribution, SortOrder, Index, Type


非表格式資料

● 引擎:Spark、PyTorch、Ray、TensorFlow

● 檔案系統:Gravitino Virtual FileSystem、Python FileSystem

● 操作:Create、Load、Alter、Drop

● API:統一非表格式 API

Schema(struct)

● name: string

● comment: string

● Properties: map<string, string>

Fileset(struct)

● name: string

● storageLocation: string

● type: Type

儲存位置

● S3, HDFS, ADLS, GCS


應用情境

湖倉一體聯邦(Lakehouse Federation)

● 多雲端、多引擎及多格式

● Lakehouse Federation 的開放式解決方案

平台能力

● 分析

● 機器學習

● 360° 視圖

● 應

用程式查詢/語言工具

● SQL

● Python

● R

核心功能

● Gravitino Data Connector

● 跨多雲端、多格式與多引擎的聯邦查詢。


讓資料與 AI 團隊無縫協作

角色

● 資料工程師

● 資料科學家

● AI

工程師:使用情境

● 資料工程師與資料科學家或 AI 工程師之間的高效協作

● 資料科學家取得異質資料來源的統一中繼資料定義

● 資料工程師使用中繼資料處理資料

● 適用於多個 AI 框架的統一中繼資料

● 統一安全控制:

核心技術

● Gravitino

外部因素

● 技術

● 通訊

● ETL

● 物聯網

● 自動化

● 網路:資

料與工具

[ 1 ] 資料匯入:

● Spark

● HDFS Client

● S3 SDK

[ 2 ] 模型訓練:

● Tensorflow

● Pytorch

● Ray

● Gravitino Python 程式庫

[ 3 ] 資料類型:

● 結構化資料

● 非結構化資料:Gravitino

功能

● Gravitino IO(資料讀取與寫入)

● Gravitino ACL(存取控制)


Gravitino Next——中繼資料驅動的動作系統

● Catalog 服務

● API:Unified REST API、Iceberg REST API

● 元件:Catalog、Schema、Table、Fileset、Model、Topic

● 連線:連接各種資料來源(資料庫、檔案)的 connectors

Gravitino Next

● Catalog 服務

● API:Unified REST API、Iceberg REST API

● 元件:Catalog、Schema、Table、Fileset、Model、Topic、Policy

● Job 系統項目:包含的 Job

系統

● Policy 系統

● 統計系統

● Job 系統

● Action

框架:Action 框架項目

● TTL Action

● Compaction Action

● Clustering Action