AWS Re:cap 09: 最大化 AI 推論成本效益：策略性採用 AWS GPU 執行個體

@ AWSome Day Hong Kong 2025

本場議程探討了如何為 AI 和機器學習工作負載選擇 AWS GPU 執行個體及購買選項。核心觀點是：要實現成本效益，需要根據模型、輸送量、延遲和工作負載的可預測性，選擇合適的執行個體系列和定價模式。

---

GPU 執行個體系列

Amazon EC2 G 系列執行個體：

● 針對圖形密集型應用程式和機器學習推論進行了最佳化。

● G6 執行個體使用 NVIDIA L4 GPU。

● G6e 執行個體使用 NVIDIA L40S GPU。

● 非常適合具成本效益的中等輸送量推論工作負載。

Amazon EC2 P 系列執行個體：

● 專為高效能機器學習訓練和高輸送量推論而設計。

● P4 執行個體使用 NVIDIA A100 GPU。

● P5 執行個體使用 NVIDIA H100 GPU。

● P6 執行個體使用基於 Blackwell 架構的 NVIDIA B200 GPU。

● 非常適合大規模、延遲敏感型推論和模型訓練工作負載。

---

如何在 G 系列和 P 系列執行個體之間進行選擇

G 系列執行個體非常適合：

● 成本敏感工作負載。

● 中小型 AI 模型。

● 參數量少於 300 億的中小型語言模型。

● 經過蒸餾的大語言模型。

● XGBoost 和隨機森林等傳統機器學習模型。

● 聊天機器人、個人化引擎、推薦系統和影像識別。

P 系列執行個體非常適合：

● 參數量超過 300 億的大語言模型。

● 高輸送量推論。

● 延遲敏感型應用程式。

● 視覺語言和多模態 AI 系統。

● 大型 AI 模型訓練。

---

Amazon EC2 購買選項

隨需執行個體：

● 按秒計費，無需長期承諾即可獲得運算容量。

● 靈活性最高，但每小時費率也最高。

● 適用於測試、原型設計、新服務上線、突發需求和不可預測的工作負載。

Savings Plans（節省方案）：

● 需要承諾一年或三年的使用量。

● 與隨需定價相比，成本最多可降低 72%。

● 適用於穩定且可預測的正式環境推論。

● Compute Savings Plans 可跨執行個體系列和區域靈活使用。

● EC2 Instance Savings Plans 針對特定執行個體系列和區域提供更大折扣。

Spot 執行個體：

● 使用 Amazon EC2 閒置容量，與隨需定價相比，折扣最高可達 90%。

● 執行個體可能在收到兩分鐘通知後中斷。

● 適用於容錯、靈活且無狀態的工作負載。

● 常見使用情境包括批次處理、非關鍵推論以及非高峰時段的擴展。

EC2 Capacity Blocks for ML（機器學習容量區塊）：

● 為未來的指定開始日期和時間段預留加速運算容量。

● 最多可提前八周預留。

● 預留時長可為 1 至 182 天。

● 每個容量區塊可包含 1 至 64 個執行個體。

● 採用固定預付價格。

● 支援 P4d、P5、P5en 和 P6 等執行個體系列。

● 適用於需要在計畫時間內確保獲得稀缺容量的 GPU 訓練或推論作業。

---

策略性購買建議

隨需執行個體：

● 開發和實驗。

● 新服務上線。

● 需求不可預測或變化幅度很大的工作負載。

Savings Plans：

● 利用率穩定且可預測的正式環境推論。

● 有使用資料支援承諾的長期執行工作負載。

Spot 執行個體：

● 非關鍵推論。

● 批次處理作業和非高峰時段處理。

● 具備檢查點和重試機制的可中斷工作負載。

Capacity Blocks：

● 按計畫進行的大規模訓練。

● 有明確期限的推論活動。

● 必須在已知時段內確保 GPU 容量的工作負載。

---

GPU 定價近期變化

● AWS 將 P4、P5 和 P5en 執行個體的價格降低了約 25% 至 45%。

● 降價適用於隨需定價、EC2 Instance Savings Plans 和 Compute Savings Plans。

● P5 和 P5en 現已支援一年期 EC2 Instance Savings Plans。

● 與隨需定價相比，這些一年期計畫最多可節省 40%。

● 配備 NVIDIA B200 GPU 的 P6 執行個體已納入 Savings Plans。

區域可用性：

● AWS 降低了美國以外多個區域中 P5、P5e 和 P5en 執行個體的 EC2 Capacity Blocks for ML（機器學習容量區塊） 定價。

● 更一致的區域定價提高了成本的可預測性。

● 標準化定價簡化了機器學習工作負載的多區域規劃。

● 全球客戶可以預留 GPU 容量，受地理位置影響的價格差異也更小。

---

定價變化帶來的影響

降低總持有成本：

● 高效能推論和訓練變得更加經濟實惠。

● AI 實驗和部署預算可以支援更多工作負載。

改善全球可用性：

● 擴展的區域可用性有助於實施全球部署策略。

● 更一致的價格簡化了全球容量規劃。

提高定價靈活性：

● 企業可以組合使用隨需執行個體、Savings Plans、Spot 執行個體和 Capacity Blocks。

● 與三年期承諾相比，一年期承諾降低了財務風險。

---

模型和工作負載最佳化

模型最佳化：

● 在 G6 或 G6e 上部署較小或經過最佳化的模型，在保持回應速度的同時降低成本。

● 使用 INT4 或 INT8 量化，使較大的模型能夠在較小的 GPU 執行個體上執行。

● 考慮使用運算需求更低但品質相當的蒸餾模型。

● 在適當情況下套用模型壓縮。

批次處理：

● 合併多個推論請求，以提高 GPU 利用率。

● 使用動態批次處理平衡輸送量和延遲。

● 使用 Spot 執行個體在非高峰時段執行非緊急處理任務。

即時推論：

● 將 G6 或 G6e 與隨需執行個體或 Savings Plans 結合使用。

● 圍繞低延遲服務水準目標進行設計。

● 根據需求自動擴展。

● 在需要較低網路延遲時採用區域化部署。

批次推論：

● 考慮使用 P5 Spot 執行個體或 Capacity Blocks。

● 在非高峰時段處理大量資料。

● 使用檢查點機制從 Spot 執行個體中斷中恢復。

● 建置基於佇列的架構。

● 主要針對輸送量進行最佳化，而不是請求延遲。

---

決策框架

1. 評估模型大小和輸送量要求。

2. 確定工作負載需求是否可預測。

3. 評估延遲敏感度。

4. 明確預算和可靠性限制。

5. 選擇合適的執行個體系列，例如注重成本效益時選擇 G 系列，注重效能時選擇 P 系列。

6. 選擇與工作負載可預測性和中斷容忍度相匹配的購買選項。

7. 監控利用率並持續最佳化。

---

實施最佳實務

技術最佳化：

● 實施模型壓縮和量化。

● 使用動態批次大小。

● 在工作負載支援的情況下啟用 GPU 共享。

● 監控 GPU 利用率，發現閒置或利用不足的容量。

● 最佳化容器映像，以減少啟動時間和儲存開銷。

成本最佳化：

● 定期審查工作負載模式。

● 使用 AWS Cost Explorer 分析支出。

● 設定預算和成本提醒。

● 組合使用不同購買選項，而不是對所有工作負載採用同一種模式。

● 每年重新評估 Savings Plans 和其他承諾。

---

重點摘要

● AWS 近期下調 GPU 價格，為降低推論和訓練成本創造了重要機會。

● 具成本效益的推論選擇 G 系列執行個體，高效能訓練或推論選擇 P 系列執行個體。

● 根據工作負載的穩定性、靈活性和中斷容忍度選擇購買選項。

● 在遷移到更昂貴的 GPU 執行個體之前，先最佳化模型和批次處理。

● 混合購買策略可以在成本、效能、容量保障和可靠性之間取得平衡。

● 隨著模型要求和需求模式的變化，應持續審查 GPU 基礎設施。

後續步驟：

● 審查目前 GPU 利用率和成本。

● 找出能受惠於新定價的工作負載。

● 測試量化、蒸餾及其他最佳化技術。

● 評估區域化部署機會。

● 考慮為即將進行的大型訓練或推論作業使用 Capacity Blocks。