極点マクロ｜Financial Cloud Cloud · AWS Amarathon 2025
極点マクロ｜Amarathon 2025 振り返り 07：観測から最適化へ – LLM オブザーバビリティから AIOps へ、リアルタイムの洞察をインテリジェントな自動化に変える
LLM 運用における主な課題
● テナントおよびモデルを横断した使用状況の追跡
● 不正利用とプロンプトインジェクションの防止
● SLA を犠牲にしないコスト最適化
● 使用状況、セキュリティ、コストに関する死角は、LLM のスケールを頓挫させる可能性がある。
AIOps の意思決定を促進するリアルタイムの洞察
● すべてのプロンプト、トークン、レイテンシーを監視
● 異常と不正利用のパターンを検出
● インテリジェントな自動化を推進
● ライブメトリクスにより、異常を即座に自動修正へつなげる。
スマートなオブザーバビリティによる公正な料金設定
● クラウド支出を実際の LLM 使用量に整合
● 使用率の低いリソースを特定し、自動的に適正化
● コスト削減アクション（ゼロへのスケール、バーストキャパシティ）をトリガー
● 価値に対してのみ支払う — 使用量に基づき自動で適正化されるメータリング。
オブザーバビリティから AIOps による最適化へ
● よりスマートな自動化により、インシデント解決を迅速化
● 手動調整なしで継続的なコスト効率を実現
● 高パフォーマンスの AI ワークロード
● LLM オブザーバビリティをインテリジェントな AIOps アクションへ変換。
アーキテクチャ
1 Toby AI を利用する顧客のチャット / AI サービス使用状況
● SaaS クラスター
● Toby AI サービス
● アプリケーションパフォーマンス
● モニタリング
● リアルユーザーモニタリング
● ログおよびメトリクス分析
● 合成モニタリング
● モニタリングルールとアラート
2 テレメトリデータ SaaS（自己監視クラスター）
● Toby AI サービス
● アプリケーションパフォーマンス
● モニタリング
● リアルユーザーモニタリング
● ログおよびメトリクス分析
● 合成モニタリング
● モニタリングルールとアラート
3 AIOps オーケストレーターによるサブスクリプション確認
● コンテキストの拡充
● ポリシーの決定
● アクションをトリガー
4 DevOps オーケストレーターによるランブック、スケール、スロットル、最適化
● GitOps ランブック