← Financial Cloud Cloud Cloud Club · AWS Re:cap

极点宏观|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 03: Zurich Insurance Group:在 AWS 上构建高效的日志管理解决方案

演讲者: Samantha Gignac

场次: 03

场次
Summit Dev Lounge2026 Re:cap
01 把架构写成 Steering,引导 AI Agent
02 Agent Harness 才是真正的工程护城河
03 用白话询问可观测性数据
04 以 Bedrock AgentCore 打造 Serverless AR 游戏
05 AgentCore 上的多 Agent 量化回测
06 三分钟用 Kiro 把博客变成幻灯片
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 实现 AWS 合规
03 从初学者到构建者:一段精彩的 AWS 云之旅
04 以团队为先:使用 Laravel 与 Bref 开展无服务器工程
05 活动开幕式
06 智能体到智能体:在 AWS 上构建可互操作的 AI
07 利用另一类遥测数据,借助 AI 智能体更快改进
08 告别氛围编程:使用 Kiro 进行规格驱动开发
09 使用 MCP 与 AI 智能体进行自动化测试
10 使用机器学习方法实现电信安全现代化
11 重新思考生成式 AI 智能体:RAG 与 MCP
12 使用 TAK 和 AWS 开展灾难与应急响应
13 从测试视角重新思考无服务器应用程序工作流
14 Practical AWS FinOps for Cloud Success
15 基于 AWS 的 AI 驱动全球纯 Alpha 宏观交易:重塑风险调整后资产收益
FSI Recap
01 现代交易生命周期:从交易到结算
02 Goldman Sachs:通过 Fast Track 加速应用程序上云 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上构建高效的日志管理解决方案
04 FSI Meetup 2025 年第四季度 - Brex 数据库灾难恢复
05 FSI Meetup 2025 Q4 - Graviton 迁移成功案例
06 FSI Meetup 2025 Q4 - Stifel 现代数据平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易数据对账系统
08 FSI Meetup 2025 Q4 - 规模化提升韧性
09 最大限度提高 AI 推理成本效益:战略性采用 AWS GPU 实例
10 高级智能体 AI 设计模式
11 在 AWS 上构建全新的现代化应用
AWS re:Invent 2025
01 Coinbase re:Invent 回顾 (IND3312)
02 利用 AI 和 AWS 构建未来交易平台
03 交易创新:Jefferies 基于 Amazon Bedrock 构建的 AI 助手 (IND3315)
04 FSI 如何通过 Agentic AI (GBL302) 彻底改变 HFT 分析
05 使用 Amazon Time Sync 改进分布式系统(采用 Nasdaq)
06 Amazon Aurora HA 和 DR 全球弹性设计模式 (DAT442)
07 构建智能体式 AI:Amazon Nova Act 与 Strands Agents 实践 (DEV327)
08 深入探讨 Amazon Aurora 及其创新 (DAT441)
09 深入探讨 Amazon S3(STG407)
10 Nasdaq:为全球金融服务构建弹性基础设施 (HMC327)
11 AWS Lambda 新功能 (CNS376)
12 使用 Kiro 进行规范驱动开发 (DEV314)
13 Amazon 的 FinOps:全球电商巨头的云成本管理经验 (AMZ308)
14 AWS 上交易平台的 Tick-to-Trade 延迟
政务数据
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 端侧多模态 AI 与智慧城市实践
03 大模型能力评测与 AI 项目落地方法论
04 基于云代理的政府开发全链路受控自动化
05 从多智能体看 Agent 时代软件新生态
06 AI 驱动的宏观量化研究与智慧治理
07 公共数据授权运营与智慧政务实践
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技术赋能心理健康公益:可信平台的治理、架构与实践
Amarathon 2025 回顾
01 开发者的智能体架构设计路线图
02 Amazon Bedrock 数据自动化
03 AgentCore 上的多智能体
04 实践中构建智能体式 AI:Nova Act 与 Strands Agents
04 使用规格驱动开发,通过 Kiro 加速迁移项目
06 从「匹配」到「理解」:由 AgentCore Memory 驱动的个性化 AI 搜索实践
07 从观察到优化:从 LLM 可观测性迈向 AIOps,将实时洞察转化为智慧自动化
08 部署 TEAM 并打造最佳工程团队
09 五年来所谓无服务器数据库带来的五个惨痛教训
14 如果 AI 替我工作会怎样:Q Developer CLI 与 Kiro 如何改变我的日常工作
16 兼顾速度与警觉:Amazon Bedrock Agent 开发的安全要点
26 在单张 H100 上运行 OSS LLM:更智能、更便宜、更快速
28 现代统一元数据架构:打破数据孤岛的新方法
29 无服务器 MediaOps:使用 Amazon Web Services 上的 AI 自动化视频工作流
30 通过大规模性能测试构建兼具效率与可靠性的架构
31 通过开源连接世界:技术、社区与全球开发者关系的实践历程
33 构建流式 Iceberg 表以进行实时物流分析
34 加速大规模机器人策略训练:基于 Kiro、Trainium 和 EKS 的自动化闭环架构
35 通过规格驱动开发,从 Vibe 走向可行方案
36 让云成本分析更智能:使用 Strands 和 AgentCore 构建 FinOps 智能体
37 使用 CNCF Kagent、K8sGPT 和 Nova Sonic 转型 K8s 对话式智能体 AIOps

议程

从基础知识开始

● 什么是日志管理,以及它为何对金融行业组织至关重要

● 日志管理在合规、安全和运营效率方面的作用

探讨金融机构在日志管理方面面临的独特挑战

● 处理海量数据

● 满足监管要求

● 管理成本

讨论 Zurich 对日志管理解决方案的具体目标

● 了解所选方案

深入了解解决方案的技术细节

● 概述使用的主要 AWS 服务

● 说明可扩展性、成本效益和效率方面的设计原则

回顾取得的成果和收益

● 将经验应用于其他金融行业组织

最后总结关键要点

● 为正在使用或考虑使用 AWS 进行日志管理的组织提供可行建议


内容注重实用性和共鸣,以现实策略为重点,并为受众的实践之路提供启发

从基本原理讲起:

● 为什么日志管理在金融行业中很重要?

日志管理基础知识

● 日志来源:日志来自服务器、设备、网络设备、云服务等

● 日志收集:集中收集日志对于可见性和合规至关重要

● 处理与分析:过滤噪声、补充上下文,以及识别模式或危险信号

● 存储与保留:安全、有序的长期存储(例如 S3 存储层)对于合规至关重要

● 洞察与行动:利用数据获得可付诸行动的洞察并采取应对措施

日志管理对金融服务至关重要,主要有以下三个原因:

● 合规:监管机构要求提供已履行审慎义务的证明,而日志可作为证据。

● 安全:日志对于及早发现和缓解威胁至关重要。

● 运营效率:系统平稳运行能让客户、员工和监管机构都满意。

● 日志管理不只是收集数据,更要将数据转化为有用的洞察,从而保护系统、遵守法规并提高运营效率。


主要痛点:

Zurich 在日志管理方面面临的具体挑战:

● 集中式日志记录的成本可能迅速攀升。

● 原有方案对所有日志一视同仁,将一切内容存入高成本存储,并将所有日志都作为关键日志处理,导致成本快速上升。

数据量:

● 金融服务会从各种来源(防火墙规则、访问尝试、漏洞扫描等)生成海量日志数据。

● 由于需要处理敏感数据,安全系统每天会生成数 TB 的日志。

● 并非所有安全日志都同等重要;有些可以稍后分析,而关键告警则需要立即处理。

合规法规:

● PCI DSS 和 GDPR 等法规要求保留日志(例如,为审计保留七年)以及详细的访问记录。

● 要在不过度增加成本的前提下,确保日志安全、防篡改且可访问,颇具挑战。

成本效益:

● 在全面日志管理的需求与高性价比解决方案之间取得平衡至关重要。


对所有日志一视同仁会造成资源浪费:

● 并非所有日志都需要成本高昂的实时处理。

● 示例:一次性调试日志与包含安全关键信息的 API 访问日志。

● 需要根据日志的重要性和潜在用途进行存储和保留。

复杂性和集成挑战:

● 日志来自各种来源(遗留系统、云服务、应用和设备),格式各不相同。

● 系统之间的转换可能导致延迟和监控盲区。

● 示例:漏洞管理系统和 CASB 工具(云访问安全代理)使用不同的格式。

安全与实时分析:

● SIME(安全信息与事件管理)日志对于威胁检测和响应至关重要。

● 需要快速高效地分析日志以发现模式(例如,登录失败尝试可能表明暴力破解攻击)。

● 信任在金融行业至关重要,因此及时检测威胁不可或缺。

挑战总结:

● 数据量过于庞大

● 严格的合规要求

● 高昂的日志记录成本

● 混乱的集成

● 实时安全需求

解决方案目标:

● 对日志管理方案进行现代化改造:

● 不再对所有日志一视同仁。

● 使用可扩展的工具,根据重要性确定数据收集的优先级。

降低成本:

● 在不影响性能和合规的前提下,降低每 GB 数据的摄取成本。

● 在摄取前过滤不必要的日志,以更智能的方式管理数据。


停用旧的 SIME(安全信息与事件管理)基础设施:

● 淘汰遗留系统,以减少技术债务、高昂的维护成本、性能缓慢和扩展能力有限等问题。

● 释放资源,用于更现代、更高效的解决方案。

提高分析性能:

● 降低延迟并缩短日志搜索时间,从而更快获得洞察并进行实时决策。

● 专注于提供更优性能,避免不必要的延迟。

目标总结:

● 实现更智能的日志管理,以降低成本、简化环境并提供更优性能。

● 聚焦最重要的事项。


解决方案架构:

根据重要性确定日志优先级:

● 高优先级日志(例如安全事件)会被路由以供立即分析。

● 较低优先级的日志(例如合规相关日志)存储在 S3 等经济高效的归档存储中。

● 确保资源集中用于关键数据,同时控制成本。

ETL 管道:

● 充当日志的流量控制器,过滤不必要的数据以降低摄取成本。

● 使用额外的元数据丰富数据,使日志更便于采取行动。

● 将数据路由到适当的目标位置(实时分析或长期存储)。

● 对于降低每 GB 数据的摄取成本,并确保有价值的数据能在需要的位置使用,此管道至关重要。

将日志路由到 SIME 和 AWS 基础设施:

● 完成优先级划分和处理后,日志会被导入 SIME(安全信息与事件管理)和 AWS 基础设施,以供进一步分析和存储。


AWS 基础设施组件及其作用:

Amazon OpenSearch Service:

● 通过快速日志搜索实现实时分析。

● 为 DevOps 和安全团队提供控制面板及监控工具。

● 有助于快速确定根本原因(例如,登录失败尝试突然激增)。

Amazon S3:

● 存储所有日志以满足合规要求。

● 可扩展、安全且经济高效。

● 非常适合满足合规需求。

AWS Glue 和 Data Catalog:

● 整理日志并使其可供搜索。

● 减少搜索原始数据所花费的时间。

Amazon Athena:

● 无需移动数据即可直接查询 S3 中的数据。

● 对深入调查和临时分析而言经济高效。

● 适合用于调查潜在的合规问题。


结合数据优先级划分、ETL 功能和 AWS 服务:

● 实现日志管理方案的现代化。

● 仅存储和处理最重要的日志,从而降低成本。

● 通过淘汰遗留的 SIME(安全信息与事件管理)系统来简化基础设施。

● 通过更快的日志搜索和更强的分析能力提升性能。

解决方案的收益和成果:

成本节省:

● 将 SIME(安全信息与事件管理)的每日摄取量从 5 TB 降至 500 GB。

● 通过部署带有版本控制和自动备份的 Cribl 实现。

● 在摄取前过滤掉不必要的日志。

● 使用 Terraform 实现快速扩展。

性能提升:

● 按防火墙统计防火墙事件的示例查询耗时从 93 秒缩短至 2 秒。

● OpenSearch 经验证速度快且易于管理。

● 一键部署和升级。

● 使用受版本控制的 Terraform,实现一致且可靠的发布。

全面整顿和减少技术债务:

● 淘汰旧的 SIME(安全信息与事件管理)基础设施,消除技术债务。

● 迁移到精简的现代化架构。

可扩展性:

● 使用 S3 等 AWS 服务进行分层数据存储(频繁访问、低频访问和 Glacier)。

● 使用 Terraform 对 Cribl 和其他组件实现快速扩展。

● 系统可随组织需求增长而扩展。

合规与安全:

● 日志安全地存储在 S3 中,并可在 OpenSearch 中轻松搜索。

● 使监管报告和安全监控更快速、更简单、更可靠。


实践过程中获得的关键经验:

优先处理正确的数据:

● 并非所有日志都同等重要;应根据重要性区别对待。

● Zurich 通过优先处理关键日志,将摄取成本降低了 50% 以上。

投资现代化工具:

● 使用针对当前挑战而设计的工具(例如 Cribl、AWS OpenSearch 和 S3)。

● 这些工具可随组织发展实现无缝扩展。

通过自动化确保一致性:

● 利用自动化(例如 Terraform)完成部署、升级和扩展。

● 减少人为错误,并让团队腾出精力处理战略性任务。

不局限于合规:

● 现代日志管理可以提供更快的搜索、实时洞察和更好的安全监控。

● 重点应是让数据为组织发挥作用,而不只是满足监管要求。

总结:

● 更智能的日志管理方案能够带来变革。

● 优先处理重要事项、投资现代化工具、实现流程自动化,并超越单纯的合规要求。


日志管理的未来计划:

继续专注于节省成本:

● 完善 S3 分层策略,优化存储效率。

● 根据使用情况,在频繁访问、低频访问和 Glacier 存储层之间转移日志。

扩展自动化:

● 使用 Terraform 进一步简化扩展和配置更新。

● 目标是让基础设施几乎能够自行运行。

集成高级分析:

● 利用 OpenSearch 的内置机器学习功能,例如异常检测。

● 在日志数据中的异常模式升级之前将其发现。

导入并优化 SIME 关联搜索和告警:

● 继续从旧的遗留 SIME(安全信息与事件管理)迁移,将这些搜索和告警导入 OpenSearch 并加以优化。

● 在采用现代化平台的同时保持高标准的监控。

加强数据治理:

● 使用 AWS Glue 等工具增强元数据管理。

● 保持日志井然有序,并提前满足合规要求。

探索将生成式 AI 与 OpenSearch 结合使用:

● 将 OpenSearch 用作向量数据库,为 AI 使用场景中的检索增强生成(RAG)提供支持。

● 示例:使用日志训练 AI 模型,在系统问题发生前进行预测。