极点宏观｜Amarathon 2025 回顾 07：从观察到优化：从 LLM 可观测性迈向 AIOps，将实时洞察转化为智慧自动化

LLM 运营的主要挑战

● 追踪跨租户与模型的使用情况

● 防止滥用与提示注入

● 在不牺牲 SLA 的情况下优化成本

● 使用情况、安全性与成本方面的盲点，可能使 LLM 规模化功亏一篑。

实时洞察驱动 AIOps 决策

● 监控每个提示、Token 与延迟

● 检测异常与滥用模式

● 推动智慧自动化

● 实时指标可将异常转化为立即的自动修复。

通过智慧可观测性实现公平定价

● 让云支出与实际 LLM 使用量一致

● 找出未充分利用的资源，并自动调整为适当规模

● 触发节省成本的动作（缩减至零、突发容量）

● 只为价值付费——由使用量驱动、可自行调整适当规模的计量方式。

使用 AIOps 从可观测性迈向优化

● 更智慧的自动化可加快事件解决速度

● 无须手动调校即可持续提升成本效益

● 高性能 AI 工作负载

● 将 LLM 可观测性转化为智慧 AIOps 动作

架构

1 客户使用 Toby AI 的聊天／AI 服务使用情况

● SaaS 集群

● Toby AI 服务

● 应用程序性能

● 监控

● 真实用户监控

● 日志与指标分析

● 合成监控

● 监控规则与告警

2 遥测数据 SaaS（自我监控集群）

● Toby AI 服务

● 应用程序性能

● 监控

● 真实用户监控

● 日志与指标分析

● 合成监控

● 监控规则与告警

3 使用 AIOps Orchestrator 进行订阅检查

● 上下文丰富化

● 政策决策

● 触发动作

4 使用 DevOps Orchestrator 执行 Runbook、扩缩、节流与优化

● GitOps Runbook