極點宏觀｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 06: FSI Meetup 2025 Q4 - Stifel 現代化資料平台
Stifel 概覽：
● 在北美與歐洲約有 10,000 名員工
● 管理資產規模約 5,400 億美元
● 使命：透過房貸、退休規劃與資金提供，協助人們實現夢想
● 代表性專案：在 1950 年代為麥基諾大橋提供融資
資料歷程的類比：
● 現代化前：如同等待一艘載客量有限、候船時間長且營運負擔沉重的渡輪
● 現代化後：如同麥基諾大橋，實現持續流動與無縫連結
現代化資料平台：
● 目標：無縫連結人員、流程與洞察
● 如同連結密西根州的麥基諾大橋
● 透過資料串聯整個企業
現代化前的環境：
● 使用昂貴且強大的 SQL Server
● 透過六個節點實現高可用性
● 其中一個節點位於 AWS 雲端
● 面臨成長所帶來的問題（包括自然成長以及透過合併與收購所帶來的成長）
現代化前的挑戰：
● 由於儲存與運算位於相同伺服器上，資源彼此爭用
● 快速成長導致多個業務團隊各自開發自己的商業邏輯
● 不同業務單位的處理方式僅有些微差異，卻造成技術蔓延
● 缺乏資料治理、資料目錄，以及對可用資料的瞭解
推動現代化的業務因素：
● 建立一套統一的資料，並將完整整合的商業邏輯集中於一處
● 不重複建置，且系統應能不受限制地成長
● 技術應與業務需求一致，而非根據主觀認定的重要性來制定流程
● 提升營運效率、減少阻礙，並確保客戶可取得資料
● 強化治理、法規遵循與控管
平台的高階需求：
● 集中式商業邏輯
● 由業務負責人核准的預先定義資料產品
● 可擴充、易於調整，且在任何資料量或處理壓力下均能維持效能的系統
● 以中繼資料驅動，並採用事件式通知以實現無縫整合
● 資料來源就緒後便持續處理，以符合 SLA
● 發生問題時立即通知維運部門
● 透過全面的監控、警示與工單機制實現可觀測性
選定的方法：資料網格架構
● 採用中樞輻射模型，資料領域與業務單位一致
● 資料產品可在業務單位之間共用，即使並非擁有者也能存取
● 以中繼資料驅動，並採用事件式通知以實現無縫整合
● 持續處理、立即通知問題，並提供全面監控
資料目錄與集中式發布：
● 完全開放的資料目錄，讓業務人員瞭解有哪些可用資料
● 提供集中式位置，向業務端發布及定義資料
三層式架構：
原始資料擷取：
● 從不同供應商與交易系統收集資料
● 資料格式各異，部分資料來自國外
● 儲存在包含歷史資料（最長達 20 多年）的資料湖中
● 資料湖中資料最新的區段
中央治理帳戶：
● 作為所有元件之間的黏著劑
● 支援資料領域與原始資料擷取作業之間的資料共用
● 資料湖中有新資料可用時傳送通知
● 負責治理、資料目錄與業務詞彙表
● 每天執行處理程序以收集資料目錄資訊
● 建立業務詞彙表
資料領域：
● 與業務營運一致
● 每個領域擁有並產出自己的資料，但也會與其他領域共用
● 分析資料領域會收集所有資料，供分析、BI 儀表板、報表、AI 應用程式與智慧化流程使用
導入此架構的主要重點：
聯邦式治理：
● 在領域自主權與組織一致性之間取得平衡
● 讓各領域能建立及管理資料產品，同時遵循集中的品質標準
● 確保創新、可靠性與卓越營運
● 藉由減少系統間的相依性並簡化維護工作，提升營運效率
● 透過降低開發與基礎設施支出達成成本最佳化
技術最佳實務：
事件驅動架構：
● 採用發布／訂閱模式
● 訊息模式：稱為發布者的訊息傳送者將訊息分類，並在無須知道哪些元件會接收訊息的情況下加以傳送。
● 擺脫僵化的批次相依關係
● 實現可動態回應業務事件的即時資料流
中繼資料驅動架構：
● 集中管理相依關係與管線狀態
● 能針對工作流程執行與資源配置做出智慧決策
開放資料格式標準化：
● 使用 Apache Hudi 儲存資料湖資料
● 確保整個技術堆疊之間的互通性
● 為批次與串流工作負載提供最佳化的儲存模式
● 維持資料一致性
組織轉型：
打破資料孤島：
● 將工具集標準化，並導入資料產品方法
● 實現無縫資料共用，並改善跨職能協作
賦予業務領域自主權：
● 在資料治理方面給予更大的自主權
● 能就資料共用或領域專屬資料做出充分掌握資訊的決策
以客戶為優先的資料集：
● 導入可進行即時資料處理並提供個人化客戶體驗的系統
● 強化動態回應客戶需求的能力
敏捷且反應迅速的組織：
● 專注於打造能更妥善服務客戶的組織
● 維持集中管理與領域自主權之間的平衡
● 採用最新的技術變革
歷程時間軸：
● 2021 年：從高階架構著手
● 2023 年：完善架構、向領導團隊簡報並取得核准
● 與 AWS Proserve 合作：協助建置此架構
導入階段：
● 2024 年 9 月：建置並測試核心元件
● 2025 年 1 月：將有限的資料匯入新架構
● 2025 年 9 月：使用架構內的資料建置 API 端點
● 目前：API 已成為支援客戶之應用程式的一部分；持續擴充資料領域並讓更多應用程式上線
未來重點：
● 建立新的資料領域：同時充實現有領域
● 全企業採用：隨著平台上可用的資料增加
● 營運效率：逐步汰換舊有平台
● 非結構化資料與 AI 使用案例：擴充平台以納入非結構化資料與新興 AI 應用
資料網格概覽：
● 去中心化資料架構
● 將資料視為產品
● 將擁有權從中央團隊轉移至各個業務領域
主要原則：
以領域為導向的去中心化：
● 由各個業務領域擁有並管理資料
● 每個領域管理自己的資料產品
資料即產品：
● 將資料視為具備明確價值主張的可使用產品
● 著重資料品質、可探索性與可存取性
自助式資料基礎設施：
● 提供平台，讓各領域能獨立管理自己的資料
● 為各領域提供資料處理與分析所需的工具和能力
聯邦式運算治理：
● 建立資料品質、安全性與法規遵循的標準及準則
● 在領域自主權與組織一致性之間取得平衡
● 確保資料產品符合組織標準，同時保有創新空間
效益：
● 提升敏捷性與擴充能力
● 改善資料產品的管理、共用與分析
● 強化協作與跨職能資料運用
● 提升營運效率並達成成本最佳化
● 支援即時資料處理與個人化客戶體驗