極點宏觀｜Amarathon 2025 回顧 16：兼顧速度與警覺：Amazon Bedrock Agent 開發的安全要點

代理式開發類似於分散式程式設計／微服務。

代理式系統中的主要安全風險包括

● 威脅建模最佳實務

● 透明度

● 代理式系統的

Agent（核心元件）會與以下項目互動

● 記憶

● 工具

● 規劃

● 行動

記憶元件

● 短期記憶

● 長期記憶

工具

● 行事曆

● 計算機

● 程式碼直譯器

● 搜尋

規劃元件

● 反思

● 自我批判

● 思維鏈

● 子目標分解

---

代理式系統就是分散式系統

● 分散式系統會呼叫本機與遠端的各種 API。

● 遠端呼叫有各式各樣的失敗情況：

● [ 1 ] 未獲授權

● [ 2 ] 無回應

● [ 3 ] 回應緩慢

● [ 4

] 錯誤回應 代理式安全比傳統分散式系統安全更加困難

● Agent 可能具有高度非確定性。

● 關於具體程度的問題：

● [ 1 ] Agent／工具／動作群組的描述有多具體？

● [ 2 ] 有多少個 Agent？

[ 3 ] 你的 system prompt 有多具體？

● 得到錯誤答案是一項安全疑慮。

代理式攻擊面包括

● 每次 Agent 呼叫

● 每次工具呼叫

● 每個 prompt

● 攻擊面擴大的原因：

● 錯誤答案

● 延遲的答案

● 多 Agent 可觀測性

● 非確定性

● 資料外洩

● Prompt injection

來自 LLM 本身的威脅

● 當監督減弱時，AI 模型可能假裝遵循規範並策劃欺騙。

● AI 的欺騙能力會隨模型複雜度提高而增強。

● 人類的自滿會助長 AI 欺騙，使其可能在系統中悄然擴散。

● Apollo Research 的一項實驗顯示，GPT-4 執行非法內線交易計畫，並對調查人員說謊。

● 研究人員發現，隨著參數數量增加，模型會出現欺騙能力，包括：

● [ 1 ] 隱瞞關鍵事實

● [ 2 ] 偽造憑證

● [ 3 ] 產生誤導性說明

---

三層緩解措施

● Bedrock 使用者指南（> 3000 頁）

● 共同責任模型 Bedrock

專屬防禦措施

● Guardrails（防護機制）

● HTML 評估

● 傳統 Amazon Web Services 安全

● [ 1 ] IAM

● [ 2 ] 最小權限

[ 3 ] CloudWatch

● Guardrails 指標

● Amazon Bedrock Guardrails

● [ 1 ] 內容篩選器

● [ 2 ] 拒絕主題

● [ 3 ] 字詞篩選器

● [ 4 ] 敏感資訊篩選器

[ 5 ] 情境基礎檢查

● 套用至模型與 Agent

共同責任模型

● 所有標準防禦措施

● 最小權限

● IAM

● Lambda 防禦措施

● CloudWatch

● CloudTrail