← Financial Cloud Cloud Cloud Club · AWS Re:cap

極點宏觀|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 06: FSI Meetup 2025 Q4 - Stifel 現代化資料平台

講者: Martin Nieuwoudt、Hossein Johari、Srinivas Kandi、Amit Maindola

場次: 06

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

Stifel 概覽:

● 在北美與歐洲約有 10,000 名員工

● 管理資產規模約 5,400 億美元

● 使命:透過房貸、退休規劃與資金提供,協助人們實現夢想

● 代表性專案:在 1950 年代為麥基諾大橋提供融資

資料歷程的類比:

● 現代化前:如同等待一艘載客量有限、候船時間長且營運負擔沉重的渡輪

● 現代化後:如同麥基諾大橋,實現持續流動與無縫連結

現代化資料平台:

● 目標:無縫連結人員、流程與洞察

● 如同連結密西根州的麥基諾大橋

● 透過資料串聯整個企業

現代化前的環境:

● 使用昂貴且強大的 SQL Server

● 透過六個節點實現高可用性

● 其中一個節點位於 AWS 雲端

● 面臨成長所帶來的問題(包括自然成長以及透過合併與收購所帶來的成長)


現代化前的挑戰:

● 由於儲存與運算位於相同伺服器上,資源彼此爭用

● 快速成長導致多個業務團隊各自開發自己的商業邏輯

● 不同業務單位的處理方式僅有些微差異,卻造成技術蔓延

● 缺乏資料治理、資料目錄,以及對可用資料的瞭解

推動現代化的業務因素:

● 建立一套統一的資料,並將完整整合的商業邏輯集中於一處

● 不重複建置,且系統應能不受限制地成長

● 技術應與業務需求一致,而非根據主觀認定的重要性來制定流程

● 提升營運效率、減少阻礙,並確保客戶可取得資料

● 強化治理、法規遵循與控管

平台的高階需求:

● 集中式商業邏輯

● 由業務負責人核准的預先定義資料產品

● 可擴充、易於調整,且在任何資料量或處理壓力下均能維持效能的系統

● 以中繼資料驅動,並採用事件式通知以實現無縫整合

● 資料來源就緒後便持續處理,以符合 SLA

● 發生問題時立即通知維運部門

● 透過全面的監控、警示與工單機制實現可觀測性

選定的方法:資料網格架構

● 採用中樞輻射模型,資料領域與業務單位一致

● 資料產品可在業務單位之間共用,即使並非擁有者也能存取

● 以中繼資料驅動,並採用事件式通知以實現無縫整合

● 持續處理、立即通知問題,並提供全面監控

資料目錄與集中式發布:

● 完全開放的資料目錄,讓業務人員瞭解有哪些可用資料

● 提供集中式位置,向業務端發布及定義資料


三層式架構:

原始資料擷取:

● 從不同供應商與交易系統收集資料

● 資料格式各異,部分資料來自國外

● 儲存在包含歷史資料(最長達 20 多年)的資料湖中

● 資料湖中資料最新的區段

中央治理帳戶:

● 作為所有元件之間的黏著劑

● 支援資料領域與原始資料擷取作業之間的資料共用

● 資料湖中有新資料可用時傳送通知

● 負責治理、資料目錄與業務詞彙表

● 每天執行處理程序以收集資料目錄資訊

● 建立業務詞彙表

資料領域:

● 與業務營運一致

● 每個領域擁有並產出自己的資料,但也會與其他領域共用

● 分析資料領域會收集所有資料,供分析、BI 儀表板、報表、AI 應用程式與智慧化流程使用


導入此架構的主要重點:

聯邦式治理:

● 在領域自主權與組織一致性之間取得平衡

● 讓各領域能建立及管理資料產品,同時遵循集中的品質標準

● 確保創新、可靠性與卓越營運

● 藉由減少系統間的相依性並簡化維護工作,提升營運效率

● 透過降低開發與基礎設施支出達成成本最佳化

技術最佳實務:

事件驅動架構:

● 採用發布/訂閱模式

● 訊息模式:稱為發布者的訊息傳送者將訊息分類,並在無須知道哪些元件會接收訊息的情況下加以傳送。

● 擺脫僵化的批次相依關係

● 實現可動態回應業務事件的即時資料流

中繼資料驅動架構:

● 集中管理相依關係與管線狀態

● 能針對工作流程執行與資源配置做出智慧決策

開放資料格式標準化:

● 使用 Apache Hudi 儲存資料湖資料

● 確保整個技術堆疊之間的互通性

● 為批次與串流工作負載提供最佳化的儲存模式

● 維持資料一致性

組織轉型:

打破資料孤島:

● 將工具集標準化,並導入資料產品方法

● 實現無縫資料共用,並改善跨職能協作

賦予業務領域自主權:

● 在資料治理方面給予更大的自主權

● 能就資料共用或領域專屬資料做出充分掌握資訊的決策

以客戶為優先的資料集:

● 導入可進行即時資料處理並提供個人化客戶體驗的系統

● 強化動態回應客戶需求的能力

敏捷且反應迅速的組織:

● 專注於打造能更妥善服務客戶的組織

● 維持集中管理與領域自主權之間的平衡

● 採用最新的技術變革


歷程時間軸:

● 2021 年:從高階架構著手

● 2023 年:完善架構、向領導團隊簡報並取得核准

● 與 AWS Proserve 合作:協助建置此架構

導入階段:

● 2024 年 9 月:建置並測試核心元件

● 2025 年 1 月:將有限的資料匯入新架構

● 2025 年 9 月:使用架構內的資料建置 API 端點

● 目前:API 已成為支援客戶之應用程式的一部分;持續擴充資料領域並讓更多應用程式上線

未來重點:

● 建立新的資料領域:同時充實現有領域

● 全企業採用:隨著平台上可用的資料增加

● 營運效率:逐步汰換舊有平台

● 非結構化資料與 AI 使用案例:擴充平台以納入非結構化資料與新興 AI 應用


資料網格概覽:

● 去中心化資料架構

● 將資料視為產品

● 將擁有權從中央團隊轉移至各個業務領域

主要原則:

以領域為導向的去中心化:

● 由各個業務領域擁有並管理資料

● 每個領域管理自己的資料產品

資料即產品:

● 將資料視為具備明確價值主張的可使用產品

● 著重資料品質、可探索性與可存取性

自助式資料基礎設施:

● 提供平台,讓各領域能獨立管理自己的資料

● 為各領域提供資料處理與分析所需的工具和能力

聯邦式運算治理:

● 建立資料品質、安全性與法規遵循的標準及準則

● 在領域自主權與組織一致性之間取得平衡

● 確保資料產品符合組織標準,同時保有創新空間

效益:

● 提升敏捷性與擴充能力

● 改善資料產品的管理、共用與分析

● 強化協作與跨職能資料運用

● 提升營運效率並達成成本最佳化

● 支援即時資料處理與個人化客戶體驗