极点宏观｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 09: 最大限度提高 AI 推理成本效益：战略性采用 AWS GPU 实例
@ AWSome Day Hong Kong 2025
本场活动探讨了如何为 AI 和机器学习工作负载选择 AWS GPU 实例及购买选项。核心观点是：要实现成本效益，需要根据模型、吞吐量、延迟和工作负载的可预测性，选择合适的实例系列和定价模式。
GPU 实例系列
Amazon EC2 G 系列实例：
● 针对图形密集型应用和机器学习推理进行了优化。
● G6 实例使用 NVIDIA L4 GPU。
● G6e 实例使用 NVIDIA L40S GPU。
● 非常适合经济高效的中等吞吐量推理工作负载。
Amazon EC2 P 系列实例：
● 专为高性能机器学习训练和高吞吐量推理而设计。
● P4 实例使用 NVIDIA A100 GPU。
● P5 实例使用 NVIDIA H100 GPU。
● P6 实例使用基于 Blackwell 架构的 NVIDIA B200 GPU。
● 非常适合大规模、延迟敏感型推理和模型训练工作负载。
如何在 G 系列和 P 系列实例之间进行选择
G 系列实例非常适合：
● 成本敏感型工作负载。
● 中小型 AI 模型。
● 参数量少于 300 亿的中小型语言模型。
● 经过蒸馏的大语言模型。
● XGBoost 和随机森林等传统机器学习模型。
● 聊天机器人、个性化引擎、推荐系统和图像识别。
P 系列实例非常适合：
● 参数量超过 300 亿的大语言模型。
● 高吞吐量推理。
● 延迟敏感型应用。
● 视觉语言和多模态 AI 系统。
● 大型 AI 模型训练。
Amazon EC2 购买选项
按需实例：
● 按秒计费，无需长期承诺即可获得计算容量。
● 灵活性最高，但每小时费率也最高。
● 适用于测试、原型设计、新服务上线、突发需求和不可预测的工作负载。
Savings Plans（节省计划）：
● 需要承诺一年或三年的使用量。
● 与按需定价相比，成本最多可降低 72%。
● 适用于稳定且可预测的生产推理。
● Compute Savings Plans 可跨实例系列和区域灵活使用。
● EC2 Instance Savings Plans 针对特定实例系列和区域提供更大折扣。
竞价型实例：
● 使用 Amazon EC2 闲置容量，与按需定价相比，折扣最高可达 90%。
● 实例可能在收到两分钟通知后中断。
● 适用于容错、灵活且无状态的工作负载。
● 常见使用场景包括批处理、非关键推理以及非高峰时段的扩展。
EC2 Capacity Blocks for ML：
● 为未来的指定开始日期和时间段预留加速计算容量。
● 最多可提前八周预订。
● 预订时长可为 1 至 182 天。
● 每个容量区块可包含 1 至 64 个实例。
● 采用固定的预付定价。
● 支持 P4d、P5、P5en 和 P6 等实例系列。
● 适用于需要在计划时间内确保获得稀缺容量的 GPU 训练或推理作业。
战略性购买建议
按需实例：
● 开发和实验。
● 新服务上线。
● 需求不可预测或变化幅度很大的工作负载。
Savings Plans：
● 利用率稳定且可预测的生产推理。
● 有使用数据支持承诺的长期运行工作负载。
竞价型实例：
● 非关键推理。
● 批处理作业和非高峰时段处理。
● 具备检查点和重试机制的可中断工作负载。
Capacity Blocks：
● 按计划进行的大规模训练。
● 有明确期限的推理活动。
● 必须在已知时段内确保 GPU 容量的工作负载。
GPU 定价近期变化
● AWS 将 P4、P5 和 P5en 实例的价格降低了约 25% 至 45%。
● 降价适用于按需定价、EC2 Instance Savings Plans 和 Compute Savings Plans。
● P5 和 P5en 现已支持一年期 EC2 Instance Savings Plans。
● 与按需定价相比，这些一年期计划最多可节省 40%。
● 配备 NVIDIA B200 GPU 的 P6 实例已纳入 Savings Plans。
区域可用性：
● AWS 降低了美国以外多个区域中 P5、P5e 和 P5en 实例的 EC2 Capacity Blocks for ML 定价。
● 更一致的区域定价提高了成本的可预测性。
● 标准化定价简化了机器学习工作负载的多区域规划。
● 全球客户可以预留 GPU 容量，受地理位置影响的价格差异也更小。
定价变化带来的影响
降低总体拥有成本：
● 高性能推理和训练变得更加经济实惠。
● AI 实验和部署预算可以支持更多工作负载。
改善全球可用性：
● 扩展的区域可用性有助于实施全球部署战略。
● 更一致的价格简化了全球容量规划。
提高定价灵活性：
● 企业可以组合使用按需实例、Savings Plans、竞价型实例和 Capacity Blocks。
● 与三年期承诺相比，一年期承诺降低了财务风险。
模型和工作负载优化
模型优化：
● 在 G6 或 G6e 上部署较小或经过优化的模型，在保持响应速度的同时降低成本。
● 使用 INT4 或 INT8 量化，使较大的模型能够在较小的 GPU 实例上运行。
● 考虑使用计算需求更低但质量相当的蒸馏模型。
● 在适当情况下应用模型压缩。
批处理：
● 合并多个推理请求，以提高 GPU 利用率。
● 使用动态批处理平衡吞吐量和延迟。
● 使用竞价型实例在非高峰时段运行非紧急处理任务。
实时推理：
● 将 G6 或 G6e 与按需实例或 Savings Plans 结合使用。
● 围绕低延迟服务级别目标进行设计。
● 根据需求自动扩缩。
● 在需要较低网络延迟时采用区域化部署。
批量推理：
● 考虑使用 P5 竞价型实例或 Capacity Blocks。
● 在非高峰时段处理大量数据。
● 使用检查点机制从竞价型实例中断中恢复。
● 构建基于队列的架构。
● 主要针对吞吐量进行优化，而不是请求延迟。
决策框架
1. 评估模型大小和吞吐量要求。
2. 确定工作负载需求是否可预测。
3. 评估延迟敏感度。
4. 明确预算和可靠性限制。
5. 选择合适的实例系列，例如注重成本效益时选择 G 系列，注重性能时选择 P 系列。
6. 选择与工作负载可预测性和中断容忍度相匹配的购买选项。
7. 监控利用率并持续优化。
实施最佳实践
技术优化：
● 实施模型压缩和量化。
● 使用动态批次大小。
● 在工作负载支持的情况下启用 GPU 共享。
● 监控 GPU 利用率，发现闲置或利用不足的容量。
● 优化容器镜像，以减少启动时间和存储开销。
成本优化：
● 定期审查工作负载模式。
● 使用 AWS Cost Explorer 分析支出。
● 配置预算和成本提醒。
● 组合使用不同购买选项，而不是对所有工作负载采用同一种模式。
● 每年重新评估 Savings Plans 和其他承诺。
要点总结
● AWS 近期下调 GPU 价格，为降低推理和训练成本创造了重要机会。
● 经济高效的推理选择 G 系列实例，高性能训练或推理选择 P 系列实例。
● 根据工作负载的稳定性、灵活性和中断容忍度选择购买选项。
● 在迁移到更昂贵的 GPU 实例之前，先优化模型和批处理。
● 混合购买策略可以在成本、性能、容量保障和可靠性之间取得平衡。
● 随着模型要求和需求模式的变化，应持续审查 GPU 基础设施。
后续步骤：
● 审查当前 GPU 利用率和成本。
● 找出可受益于新定价的工作负载。
● 测试量化、蒸馏及其他优化技术。
● 评估区域化部署机会。
● 考虑为即将进行的大型训练或推理作业使用 Capacity Blocks。