極點宏觀｜Amarathon 2025 回顧 07：從觀察到最佳化：從 LLM 可觀測性邁向 AIOps，將即時洞察轉化為智慧自動化

LLM 營運的主要挑戰

● 追蹤跨租戶與模型的使用情況

● 防止濫用與提示注入

● 在不犧牲 SLA 的情況下最佳化成本

● 使用情況、安全性與成本方面的盲點，可能使 LLM 規模化功虧一簣。

即時洞察驅動 AIOps 決策

● 監控每個提示、Token 與延遲

● 偵測異常與濫用模式

● 推動智慧自動化

● 即時指標可將異常轉化為立即的自動修復。

透過智慧可觀測性實現公平定價

● 讓雲端支出與實際 LLM 使用量一致

● 找出未充分利用的資源，並自動調整為適當規模

● 觸發節省成本的動作（縮減至零、突發容量）

● 只為價值付費——由使用量驅動、可自行調整適當規模的計量方式。

運用 AIOps 從可觀測性邁向最佳化

● 更智慧的自動化可加快事件解決速度

● 無須手動調校即可持續提升成本效益

● 高效能 AI 工作負載

● 將 LLM 可觀測性轉化為智慧 AIOps 動作

架構

1 客戶使用 Toby AI 的聊天／AI 服務使用情況

● SaaS 叢集

● Toby AI 服務

● 應用程式效能

● 監控

● 真實使用者監控

● 日誌與指標分析

● 合成監控

● 監控規則與警示

2 遙測資料 SaaS（自我監控叢集）

● Toby AI 服務

● 應用程式效能

● 監控

● 真實使用者監控

● 日誌與指標分析

● 合成監控

● 監控規則與警示

3 使用 AIOps Orchestrator 進行訂閱檢查

● 脈絡豐富化

● 政策決策

● 觸發動作

4 使用 DevOps Orchestrator 執行 Runbook、擴縮、節流與最佳化

● GitOps Runbook