극점매크로｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 01: Coinbase re:Invent 요약 (IND3312)
동영상: https://www.youtube.com/watch?v=IkK6dSsC5fU
Coinbase의 대화식 AI를 통한 확장 지원, 규정 준수 및 생산성
금융 서비스의 생성형 AI 개발 개요
2023년: LLM의 등장
● 고객 및 엔터프라이즈 애플리케이션용 LLM이 시장에 진입하기 시작했습니다.
● 초기에는 데이터의 신뢰성과 보안에 중점을 두었습니다.
● 데이터의 안전성과 유용성에 관한 의문이 제기되었습니다.
● 기업에서 검색 증강 생성(RAG)의 중요성이 부각되었습니다.
● FSI 고객은 가치 있는 데이터를 보유하고 있었지만 이를 안전하게 활용하는 방법을 확신하지 못했습니다.
고객지원 챗봇
● 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
● Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
● 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.
FAQ 스타일 RAG 응답
● 간단한 FAQ-style 응답으로 일반적인 쿼리(예: 로그인 문제, 2단계 인증)를 자동화합니다.
● 탄탄한 기반을 구축하기 위해 정확성에 중점을 둡니다.
Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.
● 초기 검색 결과를 의미론적으로 재정렬합니다.
● 키워드 이상의 쿼리 문서 컨텍스트를 이해합니다.
● 100 언어를 통해 지원
● JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
● Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
● 기업 검색 정확도 향상
● 더 빠른 사용자 경험을 제공합니다
● 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
● 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.
● 주요 기능
● Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터 호환성(텍스트, JSON, 코드).
● Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터.
● Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 통해 지원됩니다.
● Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.
크로스 인코더 아키텍처
● 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정하는 두 가지 입력(예: 쿼리 및 문서)을 단일 시퀀스로 공동 처리하는 모델입니다.
● 주요 특징
● 공동처리
● 교차주의
● 단일 출력
● 첫 번째 단계(바이-인코더)
● 두 번째 단계(크로스 인코더)
규정 준수 프로세스
● KYC, KYB 및 TMS를 구현합니다.
● 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
● 국가별 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.
● 규정 준수 전략
● MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
● AnyScale 기반 ML 플랫폼을 기반으로 구축된 고위험 규정 준수 사례를 탐지하기 위한 기존 기계 학습 모델을 포함합니다.
Ray-powered 확장성
● Ray clusters를 최적화하고 관리합니다.
● 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
● 대규모 데이터 세트와 복잡한 모델을 처리합니다.
● Ray AI 라이브러리
● Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지, 오디오, 비디오와 같은 구조화되지 않은 데이터에 적합합니다.
● Ray Train: PyTorch, PyTorch Lightning 및 Hugging Face Transformers와 같은 프레임워크에 대한 통합을 통해 분산 모델 훈련을 위한 것입니다.
● Ray Tune: 확장 가능하고 내결함성이 있는 하이퍼 매개변수 조정 및 실험 실행을 위한 프레임워크입니다.
● Ray Serve: 기계 학습 모델을 지연 시간이 짧은 확장 가능하고 프로그래밍 가능한 API로 배포하고 제공합니다.
● RLlib: 로봇 공학부터 금융까지 광범위한 애플리케이션을 지원하는 강화 학습을 위한 업계 수준의 라이브러리입니다.
Compliance Auto Resolution Engine (CAR)
● 전체 검토 프로세스의 조정자 역할을 하는 솔루션의 중심입니다.
● 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.
● 사람 참여형 프로세스
● 두 인간 페르소나와의 상호 작용:
● 규정 준수 운영 에이전트: AI 시스템 결과를 검토하고 개선을 위한 피드백을 제공합니다.
● 최종 고객: 필요한 경우 추가 정보를 문의하세요.
Coinbase re:Invent 요약(IND3312)
Coinbase의 대화식 AI를 통한 확장 지원, 규정 준수 및 생산성
고객지원 챗봇
● 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
● Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
● 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.
FAQ 스타일 RAG 응답
● 간단한, FAQ-style 응답을 통해 일반적인 쿼리를 자동화합니다(예: 로그인 문제, 2단계 인증)
● 강력한 인증 기반 구축을 위해 정확성에 중점을 둡니다).
Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.
● 초기 검색 결과를 의미적으로 재정렬합니다.
● 키워드 이상의 쿼리-문서 컨텍스트를 이해합니다.
● 100 언어 이상 지원
● JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
● Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
● 기업 검색 정확도 향상
● 더 빠른 사용자 경험을 제공합니다
● 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
● 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.
Cohere의 Rerank 모델 주요 기능
● Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터
● Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터. 호환성(텍스트, JSON, 코드).
● Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 지원합니다.- Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.
크로스 인코더 아키텍처
두 개의 입력(예: 쿼리 및 문서)을 단일로 공동으로 처리하는 모델
시퀀스, 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정합니다.
주요 특징
● 공동처리
● 교차주의
● 단일 출력
● 1단계(바이인코더)
● 두 번째 단계(크로스 인코더)
규정 준수 프로세스
● KYC, KYB 및 TMS의 구현입니다.
● 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
● 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.
국가.
🛠규정 준수 전략
● MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
● 고위험 규정 준수 사례를 감지하기 위해 기존 기계 학습 모델을 포함하여 구축됨
AnyScale 기반 ML 플랫폼에서.
Ray-powered 확장성
● Ray clusters를 최적화하고 관리합니다.
● 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
● 대규모 데이터 세트와 복잡한 모델을 처리합니다.
Ray AI 라이브러리
● Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지와 같은 구조화되지 않은 데이터에 적합합니다.
● Ray Train: 분산 모델 훈련을 위해 PyTorch와 같은 프레임워크 통합을 통해,
오디오 및 비디오.
● Ray Tune: 확장 가능하고 내결함성을 갖춘 하이퍼파라미터 튜닝 및
PyTorch Lightning 및 Hugging Face Transformers.
● Ray Serve: 확장 가능하고 프로그래밍 가능한 기계 학습 모델을 배포하고 제공하기 위해
실험 실행.
● RLlib: 광범위한 강화 학습을 지원하는 업계 수준의 라이브러리입니다.
지연 시간이 짧은 API.
로봇 공학에서 금융까지의 응용 프로그램입니다.
Compliance Auto Resolution Engine (CAR)
● 전체 검토 프로세스의 조정자 역할을 하는 솔루션의 중심입니다.
● 에이전트적 AI-driven 워크플로에서 자동화와 인간의 전문 지식을 모두 동원합니다.
Human-in-the-Loop 프로세스
두 인간 페르소나와의 상호 작용
● 규정 준수 운영 에이전트: AI 시스템 결과를 검토하고 다음에 대한 피드백을 제공합니다.
● 최종 고객: 개선이 필요한 경우 추가 정보를 문의하세요.
Coinbase re:Invent 요약 (IND3312)
대화형 AI를 통한 지원, 규정 준수 및 생산성 확장
고객 지원 챗봇
● 50%가 넘는 고객이 지원 채널로 채팅을 선호합니다.
● Coinbase의 방대한 지식 베이스를 기반으로 학습되었습니다.
● 시장 변동성에 맞춰 연중무휴로 즉각적이고 정확한 지원을 제공합니다.
FAQ 형식의 RAG 응답
● 로그인 문제나 2단계 인증 같은 일반적인 문의를 간단한 FAQ 형식의 응답으로 자동화합니다.
● 견고한 기반을 구축하기 위해 정확성에 집중합니다.
Cohere의 Rerank 모델로 검색 관련성 향상
● 최초 검색 결과를 의미론적으로 재정렬합니다.
● 키워드를 넘어 쿼리와 문서의 맥락을 이해합니다.
● 100개 이상의 언어를 지원합니다.
● JSON과 코드 같은 복잡한 데이터를 처리합니다.
● 검색 증강 생성(RAG) 시스템을 개선합니다.
● 엔터프라이즈 검색 정확도를 높입니다.
● 더 빠른 사용자 경험을 제공합니다.
● 검색 파이프라인의 강력한 두 번째 단계로 작동합니다.
● 키워드 또는 벡터 검색 결과를 심층 관련성 점수로 정렬합니다.
Cohere Rerank 모델의 주요 기능
● Rerank-v3.5: 최첨단 성능, 향상된 추론, 폭넓은 데이터 호환성(텍스트, JSON, 코드)을 제공합니다.
● Rerank-english-v3.0: 영어 문서와 반정형 데이터를 지원합니다.
● Rerank-multilingual-v3.0: 영어 이외의 콘텐츠를 위해 100개 이상의 언어를 지원합니다.
● Rerank 3 Nimble: 전자상거래 검색 같은 대규모 사용 사례에서 효율성과 짧은 지연 시간을 우선하여 전환율을 높입니다.
크로스 인코더 아키텍처
모든 토큰 사이의 교차 어텐션 메커니즘을 사용해 쿼리와 문서 같은 두 입력을 하나의 시퀀스로 함께 처리하고 관련성을 판단하는 모델입니다.
주요 특징
● 공동 처리
● 교차 어텐션
● 단일 출력
● 첫 번째 단계(바이 인코더)
● 두 번째 단계(크로스 인코더)
규정 준수 프로세스
● KYC, KYB 및 TMS를 구현합니다.
● 인력과 철저한 조사에 크게 의존합니다.
● 국가별로 다양한 규제 요건에 맞출 수 있는 상세한 설명 가능성과 적응성이 필요합니다.
🛠규정 준수 전략
● MCP 인터페이스를 통해 LLM과 데이터에 접근할 수 있도록 내부 플랫폼을 활용합니다.
● AnyScale 기반 ML 플랫폼에서 구축한 전통적인 머신 러닝 모델을 포함하여 고위험 규정 준수 사례를 탐지합니다.
Ray 기반 확장성
● Ray 클러스터를 최적화하고 관리합니다.
● 수천 개의 CPU와 GPU에 작업을 효율적으로 분산하고 확장합니다.
● 방대한 데이터 세트와 복잡한 모델을 처리합니다.
Ray AI 라이브러리
● Ray Data: 확장 가능한 데이터 처리용으로, 특히 이미지, 오디오, 동영상 같은 비정형 데이터에 적합합니다.
● Ray Train: PyTorch, PyTorch Lightning, Hugging Face Transformers 같은 프레임워크와 통합되는 분산 모델 학습 도구입니다.
● Ray Tune: 확장 가능하고 내결함성이 있는 하이퍼파라미터 튜닝 및 실험 실행 프레임워크입니다.
Transformers 등의 프레임워크
● Ray Serve: 머신 러닝 모델을 확장 가능하고 프로그래밍 가능한 저지연 API로 배포하고 서비스합니다.
● RLlib: 로보틱스부터 금융까지 다양한 애플리케이션을 지원하는 산업용 강화 학습 라이브러리입니다.
규정 준수 자동 해결 엔진(CAR)
● 전체 검토 프로세스를 조율하는 솔루션의 핵심입니다.
● 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.
👥 Human-in-the-Loop 프로세스
두 사람 역할과의 상호 작용:
● 규정 준수 운영 에이전트: AI 시스템의 조사 결과를 검토하고 개선을 위한 피드백을 제공합니다.
● 최종 고객: 필요한 경우 추가 정보를 요청받습니다.
2024: 채택 및 확장
● 안전한 데이터 액세스 및 관리를 위한 Amazon Bedrock 및 기타 솔루션 출시.
● 고객은 고객 지원과 같은 주요 영역에서 AI를 사용하기 시작했습니다.
● 규모, 용량, 세분화된 보안으로 초점이 옮겨졌습니다.
● 향후 성장을 위해 잘 설계된 프레임워크를 AI에 적용하는 방법을 모색합니다.
● 2025: 고급 AI 애플리케이션
● 다중 에이전트 자율 애플리케이션의 출현.
● 고객은 핵심 비즈니스 운영과 부서의 변화를 목표로 합니다.
● 측정 가능한 영향과 비즈니스 KPI에 중점을 둡니다.
● 단일 도구에서 고객 및 직원 워크플로를 혁신하는 것으로 전환하세요.
AWS Gen을 위한 서비스 AI
AWS
● 빠른 배포를 위해 사전 구축된 에이전트입니다.
● 오픈 소스 도구를 실험합니다.
● 사용자 지정 에이전트를 구축합니다.
● 모델, 도구, 인프라 및 전문 지식 제공.
● AI 인프라 및 도구
● 강력한 AI 인프라, 맞춤형 실리콘 및 데이터 기반 도구.
● 안전하고 탄력적이며 전 세계적으로 확장되는 인프라에 대한 수십 년간의 경험.
● 데이터 개인 정보 보호, 액세스 관리, 모니터링 및 관찰 가능성에 대한 고급 제어 기능입니다.
● AWS Transform
● 레거시 워크로드 현대화 자동화(예: .NET 프레임워크, VMware)
● Amazon Connect의 에이전트 및 Marketplace의 도구.
● AI에 대한 인터페이스, 프로토콜, 보안 및 네트워크 개선에 투자합니다.
Amazon Bedrock
서비스 개요
● Gen AI 애플리케이션을 구축, 배포 및 운영하기 위한 완전 관리형 서비스입니다.
● 단일 API를 통해 주요 기반 모델(Anthropic, Meta, Mistral, Amazon)에 액세스합니다.
● 새로운 모델이 지속적으로 추가됩니다.
● 맞춤화 및 안전
● 데이터를 사용하여 모델 및 애플리케이션을 비공개로 사용자 정의하기 위한 도구입니다.
● 안전 가드레일 적용, 비용 최적화, 지연 시간 단축.
● 신속한 반복 기능.
● AgentCore:
● 안전하고 확장 가능한 에이전트 배포 및 운영을 위한 서비스 집합입니다.
● 서버리스 특성으로 인해 인프라 관리가 필요하지 않습니다.
에이전트 배포의 과제
Gartner 예측
● 에이전트 AI 의 40% 이상 프로젝트는 2027.에 의해 취소될 것으로 예상됩니다.
● 이유: 비용 증가, 불분명한 비즈니스 가치, 불충분한 보안.
● 주요 과제
● 전문화된 런타임: 일반적인 애플리케이션과 달리 런타임 환경이 필요합니다.
● 상태 비저장 LLM: 에이전트는 컨텍스트를 유지하고 개인화된 경험을 제공하기 위해 메모리가 필요합니다.
● 세밀하게 조정된 자격 증명: 에이전트가 적절한 시스템과 데이터에만 액세스하도록 제어합니다.
● 사용자 정의 도구 상호 작용: AI 에이전트가 적절한 ID 제어를 통해 사용자 정의 도구 및 데이터 소스를 검색하고 상호 작용할 수 있도록 보장합니다.
자율적인 다단계 워크플로
● 에이전트가 복잡한 다단계 워크플로를 독립적으로 실행해야 합니다.
● 공유되거나 제한된 워크플로의 일반 도구에 대한 요구 사항입니다.
● 전문 모니터링
● 에이전트용으로 특별히 설계된 모니터링 시스템의 필요성 AI.
● 에이전트 프로토타입 제작과 프로덕션 배포의 차이점.
Amazon Bedrock AgentCore
모듈식 및 빠른 반복 접근 방식
● 확장 가능한 프로덕션 에이전트 구축을 위해 설계되었습니다.
● 에이전트 코어 런타임
● 동적 에이전트 및 도구를 배포하고 확장하기 위한 안전한 서버리스 런타임입니다.
● 다양한 프레임워크, 프로토콜 및 모델 선택을 지원합니다.
● 다중 모달, 실시간 및 장기 실행 에이전트를 안정적으로 실행합니다(최대 8 시간).
● 중단이나 실패를 적절하게 처리하기 위한 체크포인트 및 복구 기능을 제공합니다.
● 에이전트 코어 게이트웨이
● MCP 서버 및 API와 에이전트의 통합을 촉진합니다.
● 다양한 도구로 상담원의 역량을 강화합니다.
● 에이전트 코어 브라우저 및 코드 해석기
● 에이전트가 브라우저에서 자율적으로 작동하거나 지정된 조건 및 규칙에 따라 코드를 실행할 수 있도록 합니다.
지원 도구
Agent Core Identity
● 보안 및 ID 기능을 갖춘 엔터프라이즈급 AI 에이전트를 구축합니다.
● 표준 기반 인증, 기존 ID 공급자와의 호환성 및 OAuth 지원을 포함합니다.
● 원활한 사용자 경험을 위한 안전한 토큰 보관소를 제공합니다.
● 에이전트 코어 메모리
● 에이전트가 복잡한 워크플로에 대한 단기 및 장기 메모리를 저장하고 검색할 수 있도록 합니다.
● 공유 메모리에서 사용자 입력 및 기록의 지속적인 사용을 촉진합니다.
● 관찰 가능성
● 로그, 추적 및 지표를 결합하여 Gen AI에 대한 관찰 가능성 스택을 중앙 집중화합니다.
● 대규모 성능과 정확성을 측정합니다.
Coinbase의 생성적 사용 AI
암호화폐와 경제적 자유
● 암호화폐는 글로벌 경제에 대한 경제적 자유와 공정한 참여를 지원합니다.
● Coinbase의 사명은 10억 명 이상의 사람들에게 경제적 자유를 확대하는 것입니다.
● Coinbase의 주요 기둥
● 신뢰 구축
● 최고 수준의 보안으로 사용자의 자산을 안전하게 보호합니다.
● 사기 및 계정 탈취에 대한 강력한 보호 기능을 구현합니다.
● 암호화폐에 접근 가능하게 만들기
● AI 및 기계 학습을 사용하여 직관적이고 개인화된 경험을 디자인합니다.
● 복잡한 금융상품을 단순화합니다.
● 전 세계적으로 확장
● 100+ 국가에서 수백만 명의 사용자를 지원하기 위해 효율적이고 신속하게 운영됩니다.
● 수십억 달러의 거래량을 관리합니다.
사용자 여정 및 ML 애플리케이션
로그인 보안
● ML 모델은 사용자 로그인 중 계정 탈취를 방어합니다.
● 법정화폐를 암호화폐로 변환
● ML 모델은 통화를 암호화폐 거래소로 이동할 때 사용자의 정당성과 신용 불이행 위험을 평가합니다.
● 블록체인으로 자금 이체
● ML 모델은 블록체인에 자금을 공개하기 전에 반전 위험을 평가합니다.
● 사용자 경험의 개인화
● ML-Powered 개인화
● 개인화된 검색 결과, 맞춤형 뉴스 피드, 직관적인 추천 및 실시간 가격 알림.
● 대규모 데이터 세트에 대해 훈련된 고급 딥 러닝 모델을 사용합니다.
● 적응형 위험 점수 시스템
● 블록체인 주소의 점수를 매기기 위해 그래프 신경망을 사용하여 구축되었습니다.
● 악성 블록체인 주소를 탐지 및 차단하여 고객을 보호합니다.
● ERC20 사기 토큰 감지
● 스마트 계약 감사와 기계 학습을 결합합니다.
● 거래소 상장 전 자산을 검토하여 추가적인 고객 보호를 제공합니다.
예측 기계 학습 모델
암호화폐 시장의 변동성
● 암호화폐 시장은 변동성이 매우 높기 때문에 안정적인 인프라가 필요합니다.
● 예측 모델
● 급증이 발생하기 전에 백엔드 데이터베이스를 확장하는 데 사용되어 시장 변동성 중에 안정적인 성능을 보장합니다.
AI 투자의 새로운 세대
LLM(대형 언어 모델)
● 11월 이후 변혁적인 영향을 미쳤습니다. 2022,는 AI에서 역사적인 순간을 기록합니다.
● 주요 적용 분야
● 고객 지원: AI- 인간 에이전트를 위한 가상 비서 및 고급 도구를 제공합니다.
● 규정 준수: Generative AI(GenAI)는 복잡한 조사를 간소화하고 규제 환경을 탐색합니다.
● 개발자 생산성: Coinbase의 개발자 생산성 향상.
● 암호화폐 고객 지원의 과제
● 변동성: 사용자 활동은 한 달 내에 최대 50%까지 변동될 수 있으므로 확장 가능한 지원 시스템이 필요합니다.
● 신뢰: 고객은 시장 상황에 관계없이 안전하고 지원을 받아야 합니다.
● 글로벌 운영: 다양한 언어, 규정 및 기대에 걸쳐 사용자를 지원합니다.
GenAI 전략
● 표준 인터페이스(OpenAI API 표준 및 모델 컨텍스트 프로토콜)를 통해 여러 LLM 및 데이터 소스를 통합하는 내부 GenAI 플랫폼입니다.
● 깊이
● 고객 지원 내 영향력이 큰 영역에 대한 타겟 투자:
● 대화형 챗봇으로 고객 대면 워크플로를 자동화합니다.
● 효율성을 높이기 위해 인간 지원 상담원에게 지능형 도구를 제공합니다.
● 지원 티켓에서 귀중한 통찰력을 추출하여 제품과 서비스를 지속적으로 개선합니다.
● 사용 사례
● 고객은 GenAI로 강화된 지원 상호 작용 주기를 시작하기 위해 도움이 필요합니다.
고객지원 챗봇
● 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
● Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
● 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.
챗봇 개발
FAQ 스타일 RAG 응답
● 간단한, FAQ-style 응답으로 일반적인 쿼리(예: 로그인 문제, 2단계 인증)를 자동화합니다.
● 강력한 기반을 구축하기 위해 정확성에 중점을 둡니다.
에이전트 아키텍처
사용자 입력 및 대화 기록
● 메모리 레이어 역할을 하는 벡터 데이터베이스에 저장됩니다.
● RAG 리트리버
● Bedrock knowledge bases를 사용하여 Coinbase 도움말 기사를 벡터화하고 저장합니다.
● 검색된 기사의 정확도를 높이기 위해 Cohere의 순위 재지정 모델을 사용합니다.
● 응답 생성
● Bedrock을 통해 제공되는 클라우드 모델을 포함한 LLM의 혼합입니다.
● 정확한 응답 생성을 위해 배우 평론가 아키텍처에서 개발된 하위 에이전트가 필요합니다.
● 난간
● Bedrock 가드레일로 구동되는 입력 및 출력 가드레일입니다.
● 유해한 콘텐츠 및 민감한 PII 유출로부터 보호합니다.
● 프롬프트 삽입을 최소화하기 위한 사용자 정의 도메인별 필터입니다.
● 응답을 근거 있게 유지하고 환각을 줄이기 위한 맞춤 규칙입니다.
다음 개발 계층
● 업계 및 LLM 기능 진화
● 초기 RAG 레이어보다 더 많은 것을 달성해야 한다는 필요성을 인식합니다.
Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.
● 초기 검색 결과를 의미적으로 재정렬합니다.
● 키워드 이상의 쿼리-문서 컨텍스트를 이해합니다.
● 100 언어를 통해 지원
● JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
● Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
● 기업 검색 정확도 향상
● 더 빠른 사용자 경험을 제공합니다
● 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
● 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.
● 주요 기능 및 모델
● Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터 호환성(텍스트, JSON, 코드).
● Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터.
● Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 통해 지원됩니다.
● Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.
● 작동 방식
● 입력: 사용자 쿼리 및 초기 문서 목록(Elasticsearch와 같은 키워드 검색 또는 벡터 검색에서).
● 처리: 크로스 인코더 아키텍처를 사용하는 Rerank 모델은 쿼리와 각 문서를 공동으로 처리하여 의미 관계를 이해합니다.
● 출력: 각각 관련성 점수가 할당된 정렬된 문서 목록으로, 상황에 가장 관련성이 높은 결과가 맨 위에 표시됩니다.
● 사용 사례 및 이점
● 향상된 기업 검색: 복잡한 내부 데이터(송장, 코드)에서 관련성이 높은 정보를 검색합니다.
● 향상된 RAG 시스템: LLM에 가장 관련성이 높은 조각을 제공하여 사실 기반을 보장합니다.
● 다국어 애플리케이션: 다양한 언어에 대한 의미 검색.
● 비용 및 복잡성 감소: 단일 API 호출을 통해 기존 검색 스택(예: Elasticsearch)과 쉽게 통합되어 전체 점검 없이 의미론적 힘을 추가합니다.
크로스 인코더 아키텍처
● 두 개의 입력(예: 쿼리 및 문서)을 단일 시퀀스로 공동 처리하는 모델로, 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정합니다.
● 주요 특징
● 공동 처리: 핵심 기능은 쿼리와 후보 문서가 특수 토큰으로 구분된 단일 입력 시퀀스로 연결된다는 것입니다.
● Cross-Attention: 변환기 레이어 내에서 모델의 self-attention 메커니즘은 쿼리의 모든 토큰을 문서의 모든 토큰과 직접 비교할 수 있습니다. 이러한 세밀한 상호 작용을 통해 관계와 의미론적 관련성에 대한 깊고 미묘한 이해가 가능합니다.
● 단일 출력: 모델은 일반적으로 분류 계층을 통과한 토큰의 임베딩을 사용하여 쌍에 대한 단일 관련성 점수(예: 0.0와 1.0 사이의 숫자)를 출력합니다.
● 최신 AI 시스템에서의 역할:
● 이는 특히 Retrieval-Augmented Generation (RAG) 시스템에서 2단계 검색 프로세스에서 re-ranker로 주로 배포됩니다.
● 1단계(바이인코더): 빠르고 효율적인 바이인코더 모델은 방대한 문서 모음을 잠재적으로 관련성이 있는 후보의 더 작고 관리 가능한 목록으로 빠르게 좁힙니다(예: 상위 100).
● 두 번째 단계(크로스 인코더): 그런 다음 크로스 인코더는 이 작은 후보 하위 집합을 높은 정밀도로 꼼꼼하게 재평가하고 순위를 다시 지정하여 가장 정확하고 상황에 맞게 적절한 결과가 응답 생성을 위한 최종 LLM에 제공되도록 합니다.
비즈니스 프로시저 레이어
● 향상된 챗봇 기능
● LLM 기능이 향상되면서 챗봇이 업무 절차를 자율적으로 따르도록 강화되었습니다.
● 대화를 통해 정보를 수집하고 사용자를 대신하여 직접 조치를 취합니다.
● 비즈니스 절차는 인간과 AI 에이전트 모두가 사용하는 단일 정보 소스 역할을 합니다.
● 사용자 계정 및 보류 중인 거래에 대한 쿼리를 자동화합니다.
에이전트 아키텍처
● 비즈니스 절차 분류기 소개.
● 특정 비즈니스 절차를 에뮬레이트하는 올바른 하위 에이전트로 쿼리를 라우팅합니다.
● RAG 에이전트는 RAG 지식 기반과 관련된 절차를 실행하는 특수 하위 에이전트입니다.
사전 문제 해결 레이어(예측 기능)
● AI 에이전트는 플랫폼에서 사용자 신호와 활성 사건을 사용하여 일반적인 사용자 문제를 예측합니다.
● 에이전트 설계에 사전 문제 해결 레이어가 추가되었습니다.
● 사전 해결 방법이 없으면 사전 에이전트는 비즈니스 절차 분류자로 대체됩니다.
● 표준화된 MCP 서버를 통해 구동되는 사전 대응 에이전트에 대한 데이터 액세스입니다.
주요 디자인 원칙
모델 선택
● 정확성, 지연 시간, 확장성을 고려한 균형 잡힌 접근 방식입니다.
● 모델 기능이 발전함에 따라 지속적인 재평가가 이루어집니다.
● 도구 표준화
● 모델 컨텍스트 프로토콜(MCP)을 통한 도구 액세스 표준화.
● 고객 지원 및 기타 도메인을 위한 강력한 기반.
● 비즈니스 적응성
● 사람과 AI 모두를 지원하는 비즈니스 절차에 대한 단일 정보 소스입니다.
● 향상된 비즈니스 적응성.
● 근거 있는 반응
● 응답의 사실적 정확성을 강조합니다.
모니터링 및 평가
● LLM 심사위원 평가
● 관련성, 정확성, 잠재적 편견, 환각 등에 대한 챗봇 응답을 평가합니다.
● 품질 지표 및 추세를 적극적으로 추적하여 이상 현상을 신속하게 식별합니다.
상담원 지원 도구
목적
● 인간 고객 지원 담당자가 복잡한 문제를 처리할 수 있도록 설계되었습니다.
● 고객 문제 진단 및 완화를 위한 실시간 지원을 제공합니다.
● 특징
● 계정 신호, 진행 중인 사고 데이터 및 과거 고객 지원 티켓을 활용합니다.
● 맞춤형 안내를 제공하고 다국어로 정확한 응답을 생성합니다.
● 영향
● 더 빠른 해결, 더 행복한 고객, 지원 팀의 효율성 향상.
● 65%에 가까운 고객 연락처는 AI 시스템에 의해 자동으로 처리됩니다.
● 연간 거의 5 백만 직원 시간을 절약하고 상당한 비용을 절감합니다.
● 65% 자동화된 사례는 단일 상호 작용으로 해결되어 사용자 경험을 향상시킵니다.
규정 준수의 중요성
● Coinbase와 같은 핀테크 기업이 AML/CFT(자금 세탁 방지/테러 자금 조달 방지)의 표준을 유지하는 데 매우 중요합니다.
● 플랫폼 내 부정행위 방지를 위한 약속입니다.
● 규정 준수 프로세스
● KYC, KYB 및 TMS의 구현입니다.
● 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
● 국가별 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.
● 규정 준수 전략
● MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
● AnyScale 기반 ML 플랫폼을 기반으로 구축된 고위험 규정 준수 사례를 탐지하기 위한 기존 기계 학습 모델을 포함합니다.
● 깊이
● KYC, KYB 및 TMS에서 고위험 사례를 탐지하기 위한 고급 딥 러닝 모델입니다.
● AI를 통해 복잡한 조사를 자동화하고 가속화합니다.
● 규정 준수 워크플로 전반에 걸쳐 엄격한 조사를 위해 다양한 소스에서 데이터를 수집하고 합성합니다.
규정 준수 지원 도구
목적
● 고객 지원 상담원 지원 도구와 유사한 규정 준수 상담원을 위한 보조 도구입니다.
● 특징
● AI-내부 시스템 및 오픈 소스 인텔리전스에서 정보를 수집하고 종합합니다.
● 서술형 요약과 명확한 위험 검토 신호로 구성됩니다.
● 충분한 정보를 바탕으로 자신감 있는 의사 결정을 내릴 수 있도록 규정 준수 담당자에게 완벽하게 문서화되고 설명 가능한 조사를 제공합니다.
● 영향
● 규정 준수팀의 역량을 강화하고 규정 준수 운영 표준을 강화합니다.
Ray-powered 확장성
● Ray clusters를 최적화하고 관리합니다.
● 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
● 대규모 데이터세트와 복잡한 모델을 처리합니다.
● 통합된 개발자 경험:
● 실험부터 제작까지 워크플로가 간소화되었습니다.
● 대화형 개발 콘솔.
● 내장 IDE.
● 분산 워크로드 디버깅을 위한 도구입니다.
● 개발자 생산성 가속화를 목표로 합니다.
● 생산 준비:
● Ray 위에 엔터프라이즈급 기능을 추가합니다.
● 고급 관찰 가능성.
● 데이터 거버넌스.
● 비용 추적.
● 강력한 관리 도구.
● ML 모델의 안정성, 보안 및 성능을 보장합니다.
● 클라우드에 구애받지 않는 배포:
● 다양한 클라우드 제공업체(AWS, Google Cloud) 전반에 걸친 배포를 지원합니다.
● 온프레미스 Kubernetes 클러스터를 지원합니다.
● 조직이 기존 인프라를 활용할 수 있도록 합니다.
● 데이터 및 리소스에 대한 제어를 유지합니다.
● 최적화 및 통합:
● 성능 및 비용 절감을 위한 최적화가 포함되어 있습니다.
● 필수 ML 도구와의 통합: 실험 추적을 위한
● Weights & Biases.
● 워크플로 조정을 위한 천문학자(Apache Airflow 사용) AI에 집중하세요.
● 민주화:
● 분산 컴퓨팅의 복잡성을 단순화합니다.
● 고급 AI 및 ML 기능에 더 쉽게 접근할 수 있도록 하는 것이 목표입니다.
● Ray AI 라이브러리
● Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지, 오디오, 비디오와 같은 구조화되지 않은 데이터에 적합합니다.
● Ray Train: PyTorch, PyTorch Lightning 및 Hugging Face Transformers와 같은 프레임워크에 대한 통합을 통해 분산 모델 훈련을 위한 것입니다.
● Ray Tune: 확장 가능하고 내결함성이 있는 하이퍼 매개변수 조정 및 실험 실행을 위한 프레임워크입니다.
● Ray Serve: 기계 학습 모델을 지연 시간이 짧은 확장 가능하고 프로그래밍 가능한 API로 배포하고 제공합니다.
● RLlib: 로봇 공학부터 금융까지 광범위한 애플리케이션을 지원하는 강화 학습을 위한 업계 수준의 라이브러리입니다.
규정 준수를 위한 에이전트 아키텍처
시작
● 딥 러닝 규정 준수 위험 모델이 고위험 사례에 대한 경고를 트리거하면 프로세스가 시작됩니다.
● 고위험 규정 준수 사례에 대한 종합적인 조사인 전체적인 검토를 시작합니다.
● Compliance Auto Resolution Engine (CAR)
● 솔루션의 중심이며 전체적인 검토 프로세스의 조정자 역할을 합니다.
● 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.
● 사람 참여형 프로세스
● 두 인간 페르소나와의 상호 작용:
● 규정 준수 운영 담당자: AI 시스템 결과를 검토하고 개선을 위한 피드백을 제공하세요.
● 최종 고객: 필요한 경우 추가 정보를 문의하세요.
● 데이터 집계 및 합성
● 엔진은 표준화된 MCP 데이터 커넥터를 통해 다양한 소스(내부, 외부, 오픈 소스 인텔리전스)의 데이터를 집계하고 합성합니다.
● 그 결과 서술형 요약이라는 충실한 AI 생성 보고서가 만들어집니다.
● 최종 결정
● 인간 규정 준수 운영 에이전트는 AI의 추론 및 규정 준수 증거를 검토합니다.
● 사건이 정부 당국에 의심스러운 활동 보고서를 제출해야 하는지 여부를 결정합니다.
개발자 생산성
SDLC의 AI
● AI 에이전트는 소프트웨어 개발 수명 주기의 다양한 단계에서 엔지니어링 팀을 지원합니다(SDLC).
● 코딩, 티켓팅, 문서화, 풀 요청 생성 및 풀 요청 검토와 같은 작업을 통합합니다.
● 중점 분야
● 코드 작성
● 코드 검토
● 품질 보증
코드 작성 도구
Cloud Code
● IDE 또는 명령줄에 직접 통합되는 최첨단 코딩 도우미입니다.
● Cursor
● 지능적이고 상황을 인식하는 IDE 더 빠르고 협업적이며 효율적인 소프트웨어 개발을 위해 설계되었습니다.
● 개발자가 선호도에 따라 선택할 수 있는 옵션으로 제공됩니다.
● 강력한 모델
● Bedrock을 통해 제공되는 Anthropic 모델로 구동되는 도구입니다.
풀 요청 및 코드 검토
자체 개발 도구
● 오픈 소스 도구를 적용하고 Bedrock의 모델로 향상되었습니다.
● PR 검토를 자동화하는 AI 기반 GitHub Action으로 구현되었습니다.
● 정의:
● "자체 개발 도구"는 특정하고 고유한 문제를 해결하기 위해 회사나 커뮤니티에서 내부적으로 개발한 소프트웨어, 애플리케이션 또는 솔루션입니다.
● 개발 접근 방식:
● 종종 사용자 정의 스크립트를 사용하여 생성됩니다.
● Visio 또는 Excel과 같은 기존 플랫폼을 활용합니다.
● 기성품에 대한 의존을 피합니다.
● 특징
● 풀 요청 및 기본 코드 변경 사항을 요약합니다.
● 명확한 자연어 검토 의견을 생성합니다.
● 코딩 규칙을 적용합니다.
● 단위 테스트 범위의 격차를 강조합니다.
● CI 실패 디버깅에 대한 팁을 제공합니다.
● 영향
● 코드 검토의 일상적인 측면을 자동화하여 인간 개발자가 미묘한 측면에 집중하고 더 높은 가치를 제공할 수 있도록 합니다.
품질 보증
자동화된 UI 테스트 도구
● 자체 개발 AI-웹 및 모바일을 위한 엔드투엔드 품질 보증 자동화를 위한 도구 UI.
● 자연어 테스트 설명을 자율적인 브라우저 작업으로 변환합니다.
● 특징
● BrowserStack과 같은 서비스를 사용하여 다양한 폼 팩터에서 브라우저 작업을 수행합니다.
● Playwright와 같은 프레임워크를 통해 브라우저 작업을 에뮬레이션합니다.
● 혜택
● 사람처럼 UI를 테스트할 수 있어 품질 보증 프로세스의 효율성이 향상됩니다.
AI가 개발자 생산성에 미치는 영향
코드 생성
● Coinbase에서 매일 작성되는 모든 코드 중 거의 40%는 AI-generated 또는 AI-influenced입니다.
● 50%를 곧 능가하는 것이 목표이며, 사람의 검토와 이해가 여전히 필요합니다.
● 자동화된 PR 리뷰
● 대략 75,000 시간의 연간 절감 효과가 예상됩니다.
● 코딩 규칙을 적용하여 코드 품질을 높입니다.
● 품질 보증
● AI 기반 UI 테스트 도구는 사람 테스터와 동등한 정확도를 달성합니다.
● 같은 시간에 사람보다 3배 많은 버그를 탐지합니다.
● 새로운 테스트 도입 프로세스의 속도를 대폭 향상시킵니다(최소 15 분).
● 86% 기존 수동 테스트에 비해 비용이 절감됩니다.