极点宏观｜Financial Cloud Cloud · AWS Amarathon 2025
极点宏观｜Amarathon 2025 回顾 16：兼顾速度与警觉：Amazon Bedrock Agent 开发的安全要点
Agent 开发类似于分布式编程／微服务。
Agent 系统中的主要安全风险包括
● 威胁建模最佳实践
● 透明度
● Agent
系统中的 Agent（核心组件）会与以下项目交互
● 记忆
● 工具
● 规划
● 行动
记忆组件
● 短期记忆
● 长期记忆
工具
● 日历
● 计算器
● 代码解释器
● 搜索
规划组件
● 反思
● 自我批评
● 思维链
● 子目标分解
Agent 系统就是分布式系统
● 分布式系统会调用本地和远程的各种 API。
● 远程调用存在各种各样的失败情况：
● [ 1 ] 未获授权
● [ 2 ] 无响应
● [ 3 ] 响应缓慢
● [ 4
] 错误响应 Agent 安全比传统分布式系统安全更加困难
● Agent 可能具有高度非确定性。
● 关于具体程度的问题：
● [ 1 ] Agent／工具／操作组的描述有多具体？
● [ 2 ] 有多少个 Agent？
[ 3 ] 你的 system prompt 有多具体？
● 得到错误答案是一项安全隐患。
Agent 攻击面包括
● 每次 Agent 调用
● 每次工具调用
● 每个 prompt
● 攻击面扩大的原因：
● 错误答案
● 延迟的答案
● 多 Agent 可观测性
● 非确定性
● 数据外泄
● Prompt injection
来自 LLM 本身的威胁
● 当监督减弱时，AI 模型可能假装遵守要求并策划欺骗。
● AI 的欺骗能力会随模型复杂度提高而增强。
● 人类的自满会助长 AI 欺骗，使其可能在系统中悄然传播。
● Apollo Research 的一项实验显示，GPT-4 执行非法内幕交易计划，并向调查人员撒谎。
● 研究人员发现，随着参数数量增加，模型会出现欺骗能力，包括：
● [ 1 ] 隐瞒关键事实
● [ 2 ] 伪造凭证
● [ 3 ] 生成误导性说明
三层缓解措施
● Bedrock 用户指南（> 3000 页）
● 共同责任模型 Bedrock
专用防御措施
● Guardrails（防护机制）
● HTML 评估
● 传统 Amazon Web Services 安全
● [ 1 ] IAM
● [ 2 ] 最小权限
[ 3 ] CloudWatch
● Guardrails 指标
● Amazon Bedrock Guardrails
● [ 1 ] 内容筛选器
● [ 2 ] 拒绝主题
● [ 3 ] 字词筛选器
● [ 4 ] 敏感信息筛选器
[ 5 ] 上下文基础检查
● 应用于模型和 Agent
共同责任模型
● 所有标准防御措施
● 最小权限
● IAM
● Lambda 防御措施
● CloudWatch
● CloudTrail