极点宏观｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 03: Zurich Insurance Group：在 AWS 上构建高效的日志管理解决方案
议程
从基础知识开始
● 什么是日志管理，以及它为何对金融行业组织至关重要
● 日志管理在合规、安全和运营效率方面的作用
探讨金融机构在日志管理方面面临的独特挑战
● 处理海量数据
● 满足监管要求
● 管理成本
讨论 Zurich 对日志管理解决方案的具体目标
● 了解所选方案
深入了解解决方案的技术细节
● 概述使用的主要 AWS 服务
● 说明可扩展性、成本效益和效率方面的设计原则
回顾取得的成果和收益
● 将经验应用于其他金融行业组织
最后总结关键要点
● 为正在使用或考虑使用 AWS 进行日志管理的组织提供可行建议
内容注重实用性和共鸣，以现实策略为重点，并为受众的实践之路提供启发
从基本原理讲起：
● 为什么日志管理在金融行业中很重要？
日志管理基础知识
● 日志来源：日志来自服务器、设备、网络设备、云服务等
● 日志收集：集中收集日志对于可见性和合规至关重要
● 处理与分析：过滤噪声、补充上下文，以及识别模式或危险信号
● 存储与保留：安全、有序的长期存储（例如 S3 存储层）对于合规至关重要
● 洞察与行动：利用数据获得可付诸行动的洞察并采取应对措施
日志管理对金融服务至关重要，主要有以下三个原因：
● 合规：监管机构要求提供已履行审慎义务的证明，而日志可作为证据。
● 安全：日志对于及早发现和缓解威胁至关重要。
● 运营效率：系统平稳运行能让客户、员工和监管机构都满意。
● 日志管理不只是收集数据，更要将数据转化为有用的洞察，从而保护系统、遵守法规并提高运营效率。
主要痛点：
Zurich 在日志管理方面面临的具体挑战：
● 集中式日志记录的成本可能迅速攀升。
● 原有方案对所有日志一视同仁，将一切内容存入高成本存储，并将所有日志都作为关键日志处理，导致成本快速上升。
数据量：
● 金融服务会从各种来源（防火墙规则、访问尝试、漏洞扫描等）生成海量日志数据。
● 由于需要处理敏感数据，安全系统每天会生成数 TB 的日志。
● 并非所有安全日志都同等重要；有些可以稍后分析，而关键告警则需要立即处理。
合规法规：
● PCI DSS 和 GDPR 等法规要求保留日志（例如，为审计保留七年）以及详细的访问记录。
● 要在不过度增加成本的前提下，确保日志安全、防篡改且可访问，颇具挑战。
成本效益：
● 在全面日志管理的需求与高性价比解决方案之间取得平衡至关重要。
对所有日志一视同仁会造成资源浪费：
● 并非所有日志都需要成本高昂的实时处理。
● 示例：一次性调试日志与包含安全关键信息的 API 访问日志。
● 需要根据日志的重要性和潜在用途进行存储和保留。
复杂性和集成挑战：
● 日志来自各种来源（遗留系统、云服务、应用和设备），格式各不相同。
● 系统之间的转换可能导致延迟和监控盲区。
● 示例：漏洞管理系统和 CASB 工具（云访问安全代理）使用不同的格式。
安全与实时分析：
● SIME（安全信息与事件管理）日志对于威胁检测和响应至关重要。
● 需要快速高效地分析日志以发现模式（例如，登录失败尝试可能表明暴力破解攻击）。
● 信任在金融行业至关重要，因此及时检测威胁不可或缺。
挑战总结：
● 数据量过于庞大
● 严格的合规要求
● 高昂的日志记录成本
● 混乱的集成
● 实时安全需求
解决方案目标：
● 对日志管理方案进行现代化改造：
● 不再对所有日志一视同仁。
● 使用可扩展的工具，根据重要性确定数据收集的优先级。
降低成本：
● 在不影响性能和合规的前提下，降低每 GB 数据的摄取成本。
● 在摄取前过滤不必要的日志，以更智能的方式管理数据。
停用旧的 SIME（安全信息与事件管理）基础设施：
● 淘汰遗留系统，以减少技术债务、高昂的维护成本、性能缓慢和扩展能力有限等问题。
● 释放资源，用于更现代、更高效的解决方案。
提高分析性能：
● 降低延迟并缩短日志搜索时间，从而更快获得洞察并进行实时决策。
● 专注于提供更优性能，避免不必要的延迟。
目标总结：
● 实现更智能的日志管理，以降低成本、简化环境并提供更优性能。
● 聚焦最重要的事项。
解决方案架构：
根据重要性确定日志优先级：
● 高优先级日志（例如安全事件）会被路由以供立即分析。
● 较低优先级的日志（例如合规相关日志）存储在 S3 等经济高效的归档存储中。
● 确保资源集中用于关键数据，同时控制成本。
ETL 管道：
● 充当日志的流量控制器，过滤不必要的数据以降低摄取成本。
● 使用额外的元数据丰富数据，使日志更便于采取行动。
● 将数据路由到适当的目标位置（实时分析或长期存储）。
● 对于降低每 GB 数据的摄取成本，并确保有价值的数据能在需要的位置使用，此管道至关重要。
将日志路由到 SIME 和 AWS 基础设施：
● 完成优先级划分和处理后，日志会被导入 SIME（安全信息与事件管理）和 AWS 基础设施，以供进一步分析和存储。
AWS 基础设施组件及其作用：
Amazon OpenSearch Service：
● 通过快速日志搜索实现实时分析。
● 为 DevOps 和安全团队提供控制面板及监控工具。
● 有助于快速确定根本原因（例如，登录失败尝试突然激增）。
Amazon S3：
● 存储所有日志以满足合规要求。
● 可扩展、安全且经济高效。
● 非常适合满足合规需求。
AWS Glue 和 Data Catalog：
● 整理日志并使其可供搜索。
● 减少搜索原始数据所花费的时间。
Amazon Athena：
● 无需移动数据即可直接查询 S3 中的数据。
● 对深入调查和临时分析而言经济高效。
● 适合用于调查潜在的合规问题。
结合数据优先级划分、ETL 功能和 AWS 服务：
● 实现日志管理方案的现代化。
● 仅存储和处理最重要的日志，从而降低成本。
● 通过淘汰遗留的 SIME（安全信息与事件管理）系统来简化基础设施。
● 通过更快的日志搜索和更强的分析能力提升性能。
解决方案的收益和成果：
成本节省：
● 将 SIME（安全信息与事件管理）的每日摄取量从 5 TB 降至 500 GB。
● 通过部署带有版本控制和自动备份的 Cribl 实现。
● 在摄取前过滤掉不必要的日志。
● 使用 Terraform 实现快速扩展。
性能提升：
● 按防火墙统计防火墙事件的示例查询耗时从 93 秒缩短至 2 秒。
● OpenSearch 经验证速度快且易于管理。
● 一键部署和升级。
● 使用受版本控制的 Terraform，实现一致且可靠的发布。
全面整顿和减少技术债务：
● 淘汰旧的 SIME（安全信息与事件管理）基础设施，消除技术债务。
● 迁移到精简的现代化架构。
可扩展性：
● 使用 S3 等 AWS 服务进行分层数据存储（频繁访问、低频访问和 Glacier）。
● 使用 Terraform 对 Cribl 和其他组件实现快速扩展。
● 系统可随组织需求增长而扩展。
合规与安全：
● 日志安全地存储在 S3 中，并可在 OpenSearch 中轻松搜索。
● 使监管报告和安全监控更快速、更简单、更可靠。
实践过程中获得的关键经验：
优先处理正确的数据：
● 并非所有日志都同等重要；应根据重要性区别对待。
● Zurich 通过优先处理关键日志，将摄取成本降低了 50% 以上。
投资现代化工具：
● 使用针对当前挑战而设计的工具（例如 Cribl、AWS OpenSearch 和 S3）。
● 这些工具可随组织发展实现无缝扩展。
通过自动化确保一致性：
● 利用自动化（例如 Terraform）完成部署、升级和扩展。
● 减少人为错误，并让团队腾出精力处理战略性任务。
不局限于合规：
● 现代日志管理可以提供更快的搜索、实时洞察和更好的安全监控。
● 重点应是让数据为组织发挥作用，而不只是满足监管要求。
总结：
● 更智能的日志管理方案能够带来变革。
● 优先处理重要事项、投资现代化工具、实现流程自动化，并超越单纯的合规要求。
日志管理的未来计划：
继续专注于节省成本：
● 完善 S3 分层策略，优化存储效率。
● 根据使用情况，在频繁访问、低频访问和 Glacier 存储层之间转移日志。
扩展自动化：
● 使用 Terraform 进一步简化扩展和配置更新。
● 目标是让基础设施几乎能够自行运行。
集成高级分析：
● 利用 OpenSearch 的内置机器学习功能，例如异常检测。
● 在日志数据中的异常模式升级之前将其发现。
导入并优化 SIME 关联搜索和告警：
● 继续从旧的遗留 SIME（安全信息与事件管理）迁移，将这些搜索和告警导入 OpenSearch 并加以优化。
● 在采用现代化平台的同时保持高标准的监控。
加强数据治理：
● 使用 AWS Glue 等工具增强元数据管理。
● 保持日志井然有序，并提前满足合规要求。
探索将生成式 AI 与 OpenSearch 结合使用：
● 将 OpenSearch 用作向量数据库，为 AI 使用场景中的检索增强生成（RAG）提供支持。
● 示例：使用日志训练 AI 模型，在系统问题发生前进行预测。