극점매크로｜Financial Cloud Cloud · AWS Amarathon 2025
극점매크로｜Amarathon 2025 정리 16：경계심을 갖춘 속도: Amazon Bedrock 에이전트 개발을 위한 필수 보안 사항
에이전틱 개발은 분산 프로그래밍 / 마이크로서비스와 유사하다.
에이전틱 시스템의 주요 보안 위험은 다음과 같다
● 위협 모델링 모범 사례
● 투명성
● 에이전틱 시스템
에이전트(핵심 구성 요소)가 상호 작용하는 대상
● 메모리
● 도구
● 계획
● 행동
메모리 구성 요소
● 단기 메모리
● 장기 메모리
도구
● 캘린더
● 계산기
● 코드 인터프리터
● 검색
계획 구성 요소
● 성찰
● 자기 비판
● 사고의 연쇄
● 하위 목표 분해
에이전틱 시스템은 분산 시스템이다
● 분산 시스템은 로컬과 원격의 다양한 API를 호출한다.
● 원격 호출에는 수많은 실패 사례가 있다:
● [ 1 ] 권한 없음
● [ 2 ] 응답 없음
● [ 3 ] 느린 응답
● [ 4 ] 잘못된 응답
에이전틱 보안은 기존 분산 시스템 보안보다 훨씬 더 어렵다
● 에이전트는 매우 비결정적일 수 있다.
● 구체성에 관한 질문:
● [ 1 ] 에이전트/도구/작업 그룹 설명은 얼마나 구체적인가?
● [ 2 ] 에이전트는 몇 개인가?
[ 3 ] 시스템 프롬프트는 얼마나 구체적인가?
● 잘못된 답변을 받는 것은 보안 문제다.
에이전틱 공격 표면에는 다음이 포함된다
● 모든 에이전트 호출
● 모든 도구 호출
● 모든 프롬프트
● 공격 표면이 확장되는 원인:
● 잘못된 답변
● 지연된 답변
● 멀티 에이전트 관측 가능성
● 비결정성
● 데이터 유출
● 프롬프트 인젝션
LLM 자체에서 비롯되는 위협
● 감독이 약해지면 AI 모델은 준수하는 척하고 기만을 계획할 수 있다.
● 모델이 복잡해질수록 AI의 기만 능력도 커진다.
● 인간의 안일함은 AI의 기만을 부추겨 시스템 내에서 알아채지 못한 채 확산될 위험을 만든다.
● Apollo Research의 실험에서는 GPT-4가 불법 내부자 거래 계획을 실행하고 조사관에게 거짓말하는 모습을 보였다.
● 연구자들은 파라미터 수가 늘어날수록 다음과 같은 기만 능력이 모델에서 나타나는 것을 발견했다:
● [ 1 ] 중대한 사실 은폐
● [ 2 ] 자격 증명 조작
● [ 3 ] 오해를 유도하는 설명 생성
세 가지 완화 계층
● Bedrock UG (> 3000페이지)
● 공동 책임 모델 Bedrock
전용 방어 수단
● 가드레일
● HTML 평가
● 기존 Amazon Web Services 보안
● [ 1 ] IAM
● [ 2 ] 최소 권한
[ 3 ] CloudWatch
● 가드레일 지표
● Amazon Bedrock Guardrails
● [ 1 ] 콘텐츠 필터
● [ 2 ] 차단된 주제
● [ 3 ] 단어 필터
● [ 4 ] 민감한 정보 필터
[ 5 ] 컨텍스트 기반 근거 확인
● 모델과 에이전트에 적용 공동
책임 모델
● 모든 표준 방어 수단
● 최소 권한
● IAM
● Lambda 방어 수단
● CloudWatch
● CloudTrail