← Financial Cloud Cloud Cloud Club · AWS Re:cap

极点宏观|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 06: FSI Meetup 2025 Q4 - Stifel 现代数据平台

演讲者: Martin Nieuwoudt、Hossein Johari、Srinivas Kandi、Amit Maindola

场次: 06

场次
Summit Dev Lounge2026 Re:cap
01 把架构写成 Steering,引导 AI Agent
02 Agent Harness 才是真正的工程护城河
03 用白话询问可观测性数据
04 以 Bedrock AgentCore 打造 Serverless AR 游戏
05 AgentCore 上的多 Agent 量化回测
06 三分钟用 Kiro 把博客变成幻灯片
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 实现 AWS 合规
03 从初学者到构建者:一段精彩的 AWS 云之旅
04 以团队为先:使用 Laravel 与 Bref 开展无服务器工程
05 活动开幕式
06 智能体到智能体:在 AWS 上构建可互操作的 AI
07 利用另一类遥测数据,借助 AI 智能体更快改进
08 告别氛围编程:使用 Kiro 进行规格驱动开发
09 使用 MCP 与 AI 智能体进行自动化测试
10 使用机器学习方法实现电信安全现代化
11 重新思考生成式 AI 智能体:RAG 与 MCP
12 使用 TAK 和 AWS 开展灾难与应急响应
13 从测试视角重新思考无服务器应用程序工作流
14 Practical AWS FinOps for Cloud Success
15 基于 AWS 的 AI 驱动全球纯 Alpha 宏观交易:重塑风险调整后资产收益
FSI Recap
01 现代交易生命周期:从交易到结算
02 Goldman Sachs:通过 Fast Track 加速应用程序上云 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上构建高效的日志管理解决方案
04 FSI Meetup 2025 年第四季度 - Brex 数据库灾难恢复
05 FSI Meetup 2025 Q4 - Graviton 迁移成功案例
06 FSI Meetup 2025 Q4 - Stifel 现代数据平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易数据对账系统
08 FSI Meetup 2025 Q4 - 规模化提升韧性
09 最大限度提高 AI 推理成本效益:战略性采用 AWS GPU 实例
10 高级智能体 AI 设计模式
11 在 AWS 上构建全新的现代化应用
AWS re:Invent 2025
01 Coinbase re:Invent 回顾 (IND3312)
02 利用 AI 和 AWS 构建未来交易平台
03 交易创新:Jefferies 基于 Amazon Bedrock 构建的 AI 助手 (IND3315)
04 FSI 如何通过 Agentic AI (GBL302) 彻底改变 HFT 分析
05 使用 Amazon Time Sync 改进分布式系统(采用 Nasdaq)
06 Amazon Aurora HA 和 DR 全球弹性设计模式 (DAT442)
07 构建智能体式 AI:Amazon Nova Act 与 Strands Agents 实践 (DEV327)
08 深入探讨 Amazon Aurora 及其创新 (DAT441)
09 深入探讨 Amazon S3(STG407)
10 Nasdaq:为全球金融服务构建弹性基础设施 (HMC327)
11 AWS Lambda 新功能 (CNS376)
12 使用 Kiro 进行规范驱动开发 (DEV314)
13 Amazon 的 FinOps:全球电商巨头的云成本管理经验 (AMZ308)
14 AWS 上交易平台的 Tick-to-Trade 延迟
政务数据
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 端侧多模态 AI 与智慧城市实践
03 大模型能力评测与 AI 项目落地方法论
04 基于云代理的政府开发全链路受控自动化
05 从多智能体看 Agent 时代软件新生态
06 AI 驱动的宏观量化研究与智慧治理
07 公共数据授权运营与智慧政务实践
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技术赋能心理健康公益:可信平台的治理、架构与实践
Amarathon 2025 回顾
01 开发者的智能体架构设计路线图
02 Amazon Bedrock 数据自动化
03 AgentCore 上的多智能体
04 实践中构建智能体式 AI:Nova Act 与 Strands Agents
04 使用规格驱动开发,通过 Kiro 加速迁移项目
06 从「匹配」到「理解」:由 AgentCore Memory 驱动的个性化 AI 搜索实践
07 从观察到优化:从 LLM 可观测性迈向 AIOps,将实时洞察转化为智慧自动化
08 部署 TEAM 并打造最佳工程团队
09 五年来所谓无服务器数据库带来的五个惨痛教训
14 如果 AI 替我工作会怎样:Q Developer CLI 与 Kiro 如何改变我的日常工作
16 兼顾速度与警觉:Amazon Bedrock Agent 开发的安全要点
26 在单张 H100 上运行 OSS LLM:更智能、更便宜、更快速
28 现代统一元数据架构:打破数据孤岛的新方法
29 无服务器 MediaOps:使用 Amazon Web Services 上的 AI 自动化视频工作流
30 通过大规模性能测试构建兼具效率与可靠性的架构
31 通过开源连接世界:技术、社区与全球开发者关系的实践历程
33 构建流式 Iceberg 表以进行实时物流分析
34 加速大规模机器人策略训练:基于 Kiro、Trainium 和 EKS 的自动化闭环架构
35 通过规格驱动开发,从 Vibe 走向可行方案
36 让云成本分析更智能:使用 Strands 和 AgentCore 构建 FinOps 智能体
37 使用 CNCF Kagent、K8sGPT 和 Nova Sonic 转型 K8s 对话式智能体 AIOps

Stifel 概览:

● 在北美和欧洲拥有约 10,000 名员工

● 管理资产约 5,400 亿美元

● 使命:通过抵押贷款、退休规划和资金支持帮助人们实现梦想

● 代表性项目:20 世纪 50 年代为 Mackinac Bridge 提供融资

数据历程类比:

● 现代化改造前:如同等待运力有限、候船时间长且运营开销高昂的渡轮

● 现代化改造后:如同 Mackinac Bridge,实现持续流动和无缝连接

现代数据平台:

● 目标:无缝连接人员、流程和洞察

● 类似于连接 Michigan 的 Mackinac Bridge

● 通过数据将业务连接起来

现代化改造前的环境:

● 使用昂贵且功能强大的 SQL Server

● 通过六个节点实现高可用性

● 其中一个节点位于 AWS 云上

● 面临增长方面的问题(包括自然增长以及并购带来的增长)


现代化改造前的挑战:

● 由于存储和计算位于相同服务器上,资源争用严重

● 快速增长导致多个业务团队各自开发业务逻辑

● 不同业务部门的处理方式存在细微差异,造成技术无序扩张

● 缺乏数据治理、数据目录以及对可用数据的了解

现代化改造的业务驱动因素:

● 在一个位置提供统一的数据集和完全整合的业务逻辑

● 消除重复,系统应能够不受限制地扩展

● 技术应与业务需求保持一致,而不是根据主观认定的重要性来制定流程

● 提高运营效率、减少阻碍,并确保客户可以获得数据

● 加强治理、合规和控制

平台的高层要求:

● 集中式业务逻辑

● 由业务负责人批准的预定义数据产品

● 系统可扩展、易于调整,并能在任何数据或流程压力下保持高性能

● 由元数据驱动,采用基于事件的通知以实现无缝集成

● 数据源就绪后持续处理,以满足 SLA

● 出现问题时立即通知运营部门

● 通过全面的监控、告警和工单机制实现可观测性

选定方案:数据网格架构

● 采用中心辐射模型,数据域与业务部门保持一致

● 数据产品在业务部门之间共享,即使不是所有者也可以访问

● 由元数据驱动,采用基于事件的通知以实现无缝集成

● 持续处理、立即通知问题并进行全面监控

数据目录与集中发布:

● 完全开放数据目录,让业务部门了解可用数据

● 集中发布数据并为业务定义数据


三层架构:

原始数据摄取:

● 从各种供应商和交易系统收集数据

● 数据格式各异,部分数据来自境外

● 存储在包含历史数据(最长超过 20 年)的数据湖中

● 数据湖中最新的数据区域

中央治理账户:

● 充当所有组件之间的黏合剂

● 支持数据域与原始数据摄取之间的数据共享

● 数据湖中有新数据可用时发送通知

● 负责治理、数据目录和业务术语表

● 每天运行流程以收集数据目录信息

● 制定业务术语表

数据域:

● 与业务运营保持一致

● 每个域拥有并生成自己的数据,同时与其他域共享

● 分析数据域收集用于分析、BI 仪表板、报告、AI 应用程序和智能流程的所有数据


实施该架构的关键要点:

联邦式治理:

● 在数据域自治与组织一致性之间取得平衡

● 使各数据域能够创建和管理数据产品,同时遵循集中制定的质量标准

● 确保创新、可靠性和卓越运营

● 通过减少系统间依赖并简化维护来提高运营效率

● 通过减少开发和基础设施支出来实现成本优化

技术最佳实践:

事件驱动架构:

● 采用发布-订阅模式

● 消息传递模式:称为发布者的消息发送方将消息归类并发送,而无需知道哪些组件会接收消息

● 摆脱僵化的批处理依赖关系

● 实现可动态响应业务事件的实时数据流

元数据驱动架构:

● 集中管理依赖关系和流水线状态

● 支持对工作流执行和资源分配做出智能决策

开放数据格式标准化:

● 使用 Apache Hudi 进行数据湖存储

● 确保整个技术栈的互操作性

● 为批处理和流式处理工作负载提供优化的存储模式

● 保持数据一致性

组织转型:

打破数据孤岛:

● 统一工具集并实施数据产品方法

● 实现无缝数据共享并改善跨职能协作

赋能业务域:

● 赋予业务域更大的数据治理自主权

● 支持就共享数据还是保留域专用数据做出明智决策

客户优先的数据体系:

● 实施支持实时数据处理和个性化客户体验的系统

● 增强动态响应客户需求的能力

敏捷且响应迅速的组织:

● 专注于打造能够更好地服务客户的组织

● 在集中管理与数据域自治之间保持平衡

● 积极采用最新技术变革


历程时间线:

● 2021 年:从高层架构入手

● 2023 年:完善架构,向管理层展示并获得批准

● 引入 AWS ProServe:协助构建架构

实施阶段:

● 2024 年 9 月:构建并测试核心组件

● 2025 年 1 月:将少量数据导入新架构

● 2025 年 9 月:使用架构内的数据构建 API 端点

● 当前:API 已成为支持客户的应用程序的一部分;持续充实数据域并接入更多应用程序

未来重点:

● 构建新数据域:同时充实现有数据域

● 全企业采用:随着平台上可用数据不断增加而推进

● 运营效率:逐步淘汰旧平台后实现提升

● 非结构化数据和 AI 使用场景:扩展平台,使其涵盖非结构化数据和新兴 AI 应用程序


数据网格概览:

● 去中心化数据架构

● 将数据视为产品

● 将所有权从中央团队转移到各个业务域

关键原则:

面向领域的去中心化:

● 由各个业务域拥有并管理数据

● 每个域管理自己的数据产品

数据即产品:

● 将数据视为具有明确价值主张的可消费产品

● 注重数据质量、可发现性和可访问性

自助式数据基础设施:

● 提供一个支持各数据域独立管理数据的平台

● 为各数据域提供数据处理和分析所需的工具与能力

联邦式计算治理:

● 制定数据质量、安全和合规方面的标准与指南

● 在数据域自治与组织一致性之间取得平衡

● 确保数据产品符合组织标准,同时允许创新

优势:

● 提高敏捷性和可扩展性

● 更好地管理、共享和分析数据产品

● 加强协作和跨职能数据使用

● 提高运营效率并优化成本

● 支持实时数据处理和个性化客户体验