← Financial Cloud Cloud 雲端社群 · Amarathon 2025 回顧

極點宏觀|Financial Cloud Cloud · AWS Amarathon 2025

極點宏觀|Amarathon 2025 回顧 07:從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化

講者: Jimmy Soh

場次: 07

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

LLM 營運的主要挑戰

● 追蹤跨租戶與模型的使用情況

● 防止濫用與提示注入

● 在不犧牲 SLA 的情況下最佳化成本

● 使用情況、安全性與成本方面的盲點,可能使 LLM 規模化功虧一簣。

即時洞察驅動 AIOps 決策

● 監控每個提示、Token 與延遲

● 偵測異常與濫用模式

● 推動智慧自動化

● 即時指標可將異常轉化為立即的自動修復。

透過智慧可觀測性實現公平定價

● 讓雲端支出與實際 LLM 使用量一致

● 找出未充分利用的資源,並自動調整為適當規模

● 觸發節省成本的動作(縮減至零、突發容量)

● 只為價值付費——由使用量驅動、可自行調整適當規模的計量方式。

運用 AIOps 從可觀測性邁向最佳化

● 更智慧的自動化可加快事件解決速度

● 無須手動調校即可持續提升成本效益

● 高效能 AI 工作負載

● 將 LLM 可觀測性轉化為智慧 AIOps 動作


架構

1 客戶使用 Toby AI 的聊天/AI 服務使用情況

● SaaS 叢集

● Toby AI 服務

● 應用程式效能

● 監控

● 真實使用者監控

● 日誌與指標分析

● 合成監控

● 監控規則與警示

2 遙測資料 SaaS(自我監控叢集)

● Toby AI 服務

● 應用程式效能

● 監控

● 真實使用者監控

● 日誌與指標分析

● 合成監控

● 監控規則與警示

3 使用 AIOps Orchestrator 進行訂閱檢查

● 脈絡豐富化

● 政策決策

● 觸發動作

4 使用 DevOps Orchestrator 執行 Runbook、擴縮、節流與最佳化

● GitOps Runbook