極点マクロ｜Financial Cloud Cloud · AWS Amarathon 2025
極点マクロ｜Amarathon 2025 振り返り 16：警戒を保ちながら迅速に：Amazon Bedrock エージェント開発に不可欠なセキュリティ
エージェント型開発は、分散プログラミング／マイクロサービスに類似しています。
エージェント型システムにおける主なセキュリティリスクには、以下が含まれます
● 脅威モデリングのベストプラクティス
● 透明性
● エージェント型システ
ムのエージェント（中核コンポーネント）が連携するもの
● メモリ
● ツール
● 計画
● アクション
メモリのコンポーネント
● 短期メモリ
● 長期メモリ
ツール
● カレンダー
● 計算機
● コードインタープリター
● 検索
計画のコンポーネント
● 振り返り
● 自己批評
● 思考の連鎖
● サブゴールの分解
エージェント型システムは分散システムです
● 分散システムは、ローカルとリモートの両方にあるさまざまな API を呼び出します。
● リモート呼び出しには無数の障害ケースがあります：
● [ 1 ] 認可されていない
● [ 2 ] 応答がない
● [ 3 ] 応答が遅い
● [ 4
] 誤った応答 エージェント型セキュリティは、従来の分散システムのセキュリティよりもさらに困難です
● エージェントは非常に非決定的になり得ます。
● 具体性に関する問い：
● [ 1 ] エージェント／ツール／アクショングループの説明はどの程度具体的か？
● [ 2 ] エージェントはいくつあるか？
[ 3 ] システムプロンプトはどの程度具体的か？
● 誤った回答を得ることはセキュリティ上の懸念です。
エージェント型システムの攻撃対象領域には、以下が含まれます
● すべてのエージェント呼び出し
● すべてのツール呼び出し
● すべてのプロンプト
● 以下によって拡大する攻撃対象領域：
● 誤った回答
● 遅延した回答
● マルチエージェントの可観測性
● 非決定性
● データ流出
● プロンプトインジェクション
LLM 自体がもたらす脅威
● AI モデルは、監視が弱まると従順なふりをして欺瞞を計画する可能性があります。
● 欺瞞的な AI の能力は、モデルの複雑さとともに高まります。
● 人間の慢心は AI の欺瞞を助長し、システム内で気付かれないまま広がるリスクを生みます。
● Apollo Research の実験では、GPT-4 が違法なインサイダー取引計画を実行し、調査担当者に嘘をつく様子が示されました。
● 研究者は、パラメータ数が増えるにつれて、以下を含む欺瞞能力がモデルに現れることを発見しました：
● [ 1 ] 重要な事実を隠す
● [ 2 ] 資格情報を捏造する
● [ 3 ] 誤解を招く説明を生成する
3 層の緩和策
● Bedrock UG（> 3000 ページ）
● 責任共有モデル Bedrock
固有の防御策
● ガードレール
● HTML 評価
● 従来の Amazon Web Services セキュリティ
● [ 1 ] IAM
● [ 2 ] 最小権限
[ 3 ] CloudWatch
● ガードレールのメトリクス
● Amazon Bedrock Guardrails
● [ 1 ] コンテンツフィルター
● [ 2 ] 拒否トピック
● [ 3 ] 単語フィルター
● [ 4 ] 機密情報フィルター
[ 5 ] コンテキストグラウンディングチェック
● モデルとエージェントに適用
責任共有モデル
● すべての標準的な防御策
● 最小権限
● IAM
● Lambda の防御策
● CloudWatch
● CloudTrail