极点宏观｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 06: FSI Meetup 2025 Q4 - Stifel 现代数据平台
Stifel 概览：
● 在北美和欧洲拥有约 10,000 名员工
● 管理资产约 5,400 亿美元
● 使命：通过抵押贷款、退休规划和资金支持帮助人们实现梦想
● 代表性项目：20 世纪 50 年代为 Mackinac Bridge 提供融资
数据历程类比：
● 现代化改造前：如同等待运力有限、候船时间长且运营开销高昂的渡轮
● 现代化改造后：如同 Mackinac Bridge，实现持续流动和无缝连接
现代数据平台：
● 目标：无缝连接人员、流程和洞察
● 类似于连接 Michigan 的 Mackinac Bridge
● 通过数据将业务连接起来
现代化改造前的环境：
● 使用昂贵且功能强大的 SQL Server
● 通过六个节点实现高可用性
● 其中一个节点位于 AWS 云上
● 面临增长方面的问题（包括自然增长以及并购带来的增长）
现代化改造前的挑战：
● 由于存储和计算位于相同服务器上，资源争用严重
● 快速增长导致多个业务团队各自开发业务逻辑
● 不同业务部门的处理方式存在细微差异，造成技术无序扩张
● 缺乏数据治理、数据目录以及对可用数据的了解
现代化改造的业务驱动因素：
● 在一个位置提供统一的数据集和完全整合的业务逻辑
● 消除重复，系统应能够不受限制地扩展
● 技术应与业务需求保持一致，而不是根据主观认定的重要性来制定流程
● 提高运营效率、减少阻碍，并确保客户可以获得数据
● 加强治理、合规和控制
平台的高层要求：
● 集中式业务逻辑
● 由业务负责人批准的预定义数据产品
● 系统可扩展、易于调整，并能在任何数据或流程压力下保持高性能
● 由元数据驱动，采用基于事件的通知以实现无缝集成
● 数据源就绪后持续处理，以满足 SLA
● 出现问题时立即通知运营部门
● 通过全面的监控、告警和工单机制实现可观测性
选定方案：数据网格架构
● 采用中心辐射模型，数据域与业务部门保持一致
● 数据产品在业务部门之间共享，即使不是所有者也可以访问
● 由元数据驱动，采用基于事件的通知以实现无缝集成
● 持续处理、立即通知问题并进行全面监控
数据目录与集中发布：
● 完全开放数据目录，让业务部门了解可用数据
● 集中发布数据并为业务定义数据
三层架构：
原始数据摄取：
● 从各种供应商和交易系统收集数据
● 数据格式各异，部分数据来自境外
● 存储在包含历史数据（最长超过 20 年）的数据湖中
● 数据湖中最新的数据区域
中央治理账户：
● 充当所有组件之间的黏合剂
● 支持数据域与原始数据摄取之间的数据共享
● 数据湖中有新数据可用时发送通知
● 负责治理、数据目录和业务术语表
● 每天运行流程以收集数据目录信息
● 制定业务术语表
数据域：
● 与业务运营保持一致
● 每个域拥有并生成自己的数据，同时与其他域共享
● 分析数据域收集用于分析、BI 仪表板、报告、AI 应用程序和智能流程的所有数据
实施该架构的关键要点：
联邦式治理：
● 在数据域自治与组织一致性之间取得平衡
● 使各数据域能够创建和管理数据产品，同时遵循集中制定的质量标准
● 确保创新、可靠性和卓越运营
● 通过减少系统间依赖并简化维护来提高运营效率
● 通过减少开发和基础设施支出来实现成本优化
技术最佳实践：
事件驱动架构：
● 采用发布-订阅模式
● 消息传递模式：称为发布者的消息发送方将消息归类并发送，而无需知道哪些组件会接收消息
● 摆脱僵化的批处理依赖关系
● 实现可动态响应业务事件的实时数据流
元数据驱动架构：
● 集中管理依赖关系和流水线状态
● 支持对工作流执行和资源分配做出智能决策
开放数据格式标准化：
● 使用 Apache Hudi 进行数据湖存储
● 确保整个技术栈的互操作性
● 为批处理和流式处理工作负载提供优化的存储模式
● 保持数据一致性
组织转型：
打破数据孤岛：
● 统一工具集并实施数据产品方法
● 实现无缝数据共享并改善跨职能协作
赋能业务域：
● 赋予业务域更大的数据治理自主权
● 支持就共享数据还是保留域专用数据做出明智决策
客户优先的数据体系：
● 实施支持实时数据处理和个性化客户体验的系统
● 增强动态响应客户需求的能力
敏捷且响应迅速的组织：
● 专注于打造能够更好地服务客户的组织
● 在集中管理与数据域自治之间保持平衡
● 积极采用最新技术变革
历程时间线：
● 2021 年：从高层架构入手
● 2023 年：完善架构，向管理层展示并获得批准
● 引入 AWS ProServe：协助构建架构
实施阶段：
● 2024 年 9 月：构建并测试核心组件
● 2025 年 1 月：将少量数据导入新架构
● 2025 年 9 月：使用架构内的数据构建 API 端点
● 当前：API 已成为支持客户的应用程序的一部分；持续充实数据域并接入更多应用程序
未来重点：
● 构建新数据域：同时充实现有数据域
● 全企业采用：随着平台上可用数据不断增加而推进
● 运营效率：逐步淘汰旧平台后实现提升
● 非结构化数据和 AI 使用场景：扩展平台，使其涵盖非结构化数据和新兴 AI 应用程序
数据网格概览：
● 去中心化数据架构
● 将数据视为产品
● 将所有权从中央团队转移到各个业务域
关键原则：
面向领域的去中心化：
● 由各个业务域拥有并管理数据
● 每个域管理自己的数据产品
数据即产品：
● 将数据视为具有明确价值主张的可消费产品
● 注重数据质量、可发现性和可访问性
自助式数据基础设施：
● 提供一个支持各数据域独立管理数据的平台
● 为各数据域提供数据处理和分析所需的工具与能力
联邦式计算治理：
● 制定数据质量、安全和合规方面的标准与指南
● 在数据域自治与组织一致性之间取得平衡
● 确保数据产品符合组织标准，同时允许创新
优势：
● 提高敏捷性和可扩展性
● 更好地管理、共享和分析数据产品
● 加强协作和跨职能数据使用
● 提高运营效率并优化成本
● 支持实时数据处理和个性化客户体验