← Financial Cloud Cloud Cloud Club · AWS Re:cap

極點宏觀|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 09: 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體

講者: Troy Dai、Rex Law

場次: 09

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

@ AWSome Day Hong Kong 2025

本場議程探討了如何為 AI 和機器學習工作負載選擇 AWS GPU 執行個體及購買選項。核心觀點是:要實現成本效益,需要根據模型、輸送量、延遲和工作負載的可預測性,選擇合適的執行個體系列和定價模式。


GPU 執行個體系列

Amazon EC2 G 系列執行個體:

● 針對圖形密集型應用程式和機器學習推論進行了最佳化。

● G6 執行個體使用 NVIDIA L4 GPU。

● G6e 執行個體使用 NVIDIA L40S GPU。

● 非常適合具成本效益的中等輸送量推論工作負載。

Amazon EC2 P 系列執行個體:

● 專為高效能機器學習訓練和高輸送量推論而設計。

● P4 執行個體使用 NVIDIA A100 GPU。

● P5 執行個體使用 NVIDIA H100 GPU。

● P6 執行個體使用基於 Blackwell 架構的 NVIDIA B200 GPU。

● 非常適合大規模、延遲敏感型推論和模型訓練工作負載。


如何在 G 系列和 P 系列執行個體之間進行選擇

G 系列執行個體非常適合:

● 成本敏感工作負載。

● 中小型 AI 模型。

● 參數量少於 300 億的中小型語言模型。

● 經過蒸餾的大語言模型。

● XGBoost 和隨機森林等傳統機器學習模型。

● 聊天機器人、個人化引擎、推薦系統和影像識別。

P 系列執行個體非常適合:

● 參數量超過 300 億的大語言模型。

● 高輸送量推論。

● 延遲敏感型應用程式。

● 視覺語言和多模態 AI 系統。

● 大型 AI 模型訓練。


Amazon EC2 購買選項

隨需執行個體:

● 按秒計費,無需長期承諾即可獲得運算容量。

● 靈活性最高,但每小時費率也最高。

● 適用於測試、原型設計、新服務上線、突發需求和不可預測的工作負載。

Savings Plans(節省方案):

● 需要承諾一年或三年的使用量。

● 與隨需定價相比,成本最多可降低 72%。

● 適用於穩定且可預測的正式環境推論。

● Compute Savings Plans 可跨執行個體系列和區域靈活使用。

● EC2 Instance Savings Plans 針對特定執行個體系列和區域提供更大折扣。

Spot 執行個體:

● 使用 Amazon EC2 閒置容量,與隨需定價相比,折扣最高可達 90%。

● 執行個體可能在收到兩分鐘通知後中斷。

● 適用於容錯、靈活且無狀態的工作負載。

● 常見使用情境包括批次處理、非關鍵推論以及非高峰時段的擴展。

EC2 Capacity Blocks for ML(機器學習容量區塊):

● 為未來的指定開始日期和時間段預留加速運算容量。

● 最多可提前八周預留。

● 預留時長可為 1 至 182 天。

● 每個容量區塊可包含 1 至 64 個執行個體。

● 採用固定預付價格。

● 支援 P4d、P5、P5en 和 P6 等執行個體系列。

● 適用於需要在計畫時間內確保獲得稀缺容量的 GPU 訓練或推論作業。


策略性購買建議

隨需執行個體:

● 開發和實驗。

● 新服務上線。

● 需求不可預測或變化幅度很大的工作負載。

Savings Plans:

● 利用率穩定且可預測的正式環境推論。

● 有使用資料支援承諾的長期執行工作負載。

Spot 執行個體:

● 非關鍵推論。

● 批次處理作業和非高峰時段處理。

● 具備檢查點和重試機制的可中斷工作負載。

Capacity Blocks:

● 按計畫進行的大規模訓練。

● 有明確期限的推論活動。

● 必須在已知時段內確保 GPU 容量的工作負載。


GPU 定價近期變化

● AWS 將 P4、P5 和 P5en 執行個體的價格降低了約 25% 至 45%。

● 降價適用於隨需定價、EC2 Instance Savings Plans 和 Compute Savings Plans。

● P5 和 P5en 現已支援一年期 EC2 Instance Savings Plans。

● 與隨需定價相比,這些一年期計畫最多可節省 40%。

● 配備 NVIDIA B200 GPU 的 P6 執行個體已納入 Savings Plans。

區域可用性:

● AWS 降低了美國以外多個區域中 P5、P5e 和 P5en 執行個體的 EC2 Capacity Blocks for ML(機器學習容量區塊) 定價。

● 更一致的區域定價提高了成本的可預測性。

● 標準化定價簡化了機器學習工作負載的多區域規劃。

● 全球客戶可以預留 GPU 容量,受地理位置影響的價格差異也更小。


定價變化帶來的影響

降低總持有成本:

● 高效能推論和訓練變得更加經濟實惠。

● AI 實驗和部署預算可以支援更多工作負載。

改善全球可用性:

● 擴展的區域可用性有助於實施全球部署策略。

● 更一致的價格簡化了全球容量規劃。

提高定價靈活性:

● 企業可以組合使用隨需執行個體、Savings Plans、Spot 執行個體和 Capacity Blocks。

● 與三年期承諾相比,一年期承諾降低了財務風險。


模型和工作負載最佳化

模型最佳化:

● 在 G6 或 G6e 上部署較小或經過最佳化的模型,在保持回應速度的同時降低成本。

● 使用 INT4 或 INT8 量化,使較大的模型能夠在較小的 GPU 執行個體上執行。

● 考慮使用運算需求更低但品質相當的蒸餾模型。

● 在適當情況下套用模型壓縮。

批次處理:

● 合併多個推論請求,以提高 GPU 利用率。

● 使用動態批次處理平衡輸送量和延遲。

● 使用 Spot 執行個體在非高峰時段執行非緊急處理任務。

即時推論:

● 將 G6 或 G6e 與隨需執行個體或 Savings Plans 結合使用。

● 圍繞低延遲服務水準目標進行設計。

● 根據需求自動擴展。

● 在需要較低網路延遲時採用區域化部署。

批次推論:

● 考慮使用 P5 Spot 執行個體或 Capacity Blocks。

● 在非高峰時段處理大量資料。

● 使用檢查點機制從 Spot 執行個體中斷中恢復。

● 建置基於佇列的架構。

● 主要針對輸送量進行最佳化,而不是請求延遲。


決策框架

1. 評估模型大小和輸送量要求。

2. 確定工作負載需求是否可預測。

3. 評估延遲敏感度。

4. 明確預算和可靠性限制。

5. 選擇合適的執行個體系列,例如注重成本效益時選擇 G 系列,注重效能時選擇 P 系列。

6. 選擇與工作負載可預測性和中斷容忍度相匹配的購買選項。

7. 監控利用率並持續最佳化。


實施最佳實務

技術最佳化:

● 實施模型壓縮和量化。

● 使用動態批次大小。

● 在工作負載支援的情況下啟用 GPU 共享。

● 監控 GPU 利用率,發現閒置或利用不足的容量。

● 最佳化容器映像,以減少啟動時間和儲存開銷。

成本最佳化:

● 定期審查工作負載模式。

● 使用 AWS Cost Explorer 分析支出。

● 設定預算和成本提醒。

● 組合使用不同購買選項,而不是對所有工作負載採用同一種模式。

● 每年重新評估 Savings Plans 和其他承諾。


重點摘要

● AWS 近期下調 GPU 價格,為降低推論和訓練成本創造了重要機會。

● 具成本效益的推論選擇 G 系列執行個體,高效能訓練或推論選擇 P 系列執行個體。

● 根據工作負載的穩定性、靈活性和中斷容忍度選擇購買選項。

● 在遷移到更昂貴的 GPU 執行個體之前,先最佳化模型和批次處理。

● 混合購買策略可以在成本、效能、容量保障和可靠性之間取得平衡。

● 隨著模型要求和需求模式的變化,應持續審查 GPU 基礎設施。

後續步驟:

● 審查目前 GPU 利用率和成本。

● 找出能受惠於新定價的工作負載。

● 測試量化、蒸餾及其他最佳化技術。

● 評估區域化部署機會。

● 考慮為即將進行的大型訓練或推論作業使用 Capacity Blocks。