← Financial Cloud Cloud Cloud Club · AWS Re:cap

極點宏觀|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 01: Coinbase re:Invent 回顧 (IND3312)

講者: AWS re:Invent 2025

場次: 01

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

影片: https://www.youtube.com/watch?v=IkK6dSsC5fU

Coinbase 利用對話式 AI 擴展支援、合規和生產力

金融服務中的生成式 AI 發展概觀

2023 年:LLM 的引入

● 用於客戶與企業應用程式的 LLM 開始進入市場。

● 最初著重於資料的信任與安全性。

● 隨之出現關於資料安全性與實用性的疑問。

● 檢索增強生成 (RAG) 對企業的重要性。

● FSI 客戶擁有寶貴資料,但不確定如何安全地加以運用。

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助,并能適應市場波動。

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢(例如登錄問題、雙因素身份驗證)。

● 注重準確性,以建立堅實的基礎。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞,理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成(RAG)系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序 主要功能

● Rerank-v3.5:最先進的性能、增強的推理能力以及廣泛的資料兼容性(文本、JSON、程式碼)。

● Rerank-english-v3.0:適用于英文文件和半結構化資料。

● Rerank-multilingual-v3.0:適用于非英文內容,支援 100 多種語言。

● Rerank 3 Nimble:針對電子商務搜尋等高流量用例優先提高效率并降低延遲,從而提升轉化率。

交叉編碼器架構

● 一種在單個序列中聯合處理兩個輸入(例如查詢和文件)的模型,利用所有 token 之間的交叉注意力機制來確定其相關性。

● 主要特征

● 聯合處理

● 交叉注意力

● 單一輸出

● 第一階段(雙編碼器)

● 第二階段(交叉編碼器)

合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性,并能適應各國不同的監管要求。

● 合規策略

● 利用內部平臺,透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例;該模型構建于基于 AnyScale 的 ML 平臺之上。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

● Ray AI 庫

● Ray Data:用于可擴展資料處理,尤其適合圖像、音頻和影片等非結構化資料。

● Ray Train:用于分布式模型訓練,可與 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。

● Ray Tune:用于可擴展、容錯的超參數調優和實驗執行的框架。

● Ray Serve:將機器學習模型部署并提供為可擴展、可編程的低延遲 API。

● RLlib:工業級強化學習庫,支援從機器人到金融等廣泛應用。

合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器,是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

● 人在回路流程

● 與兩類人員角色互動:

● 合規運營專員:審查 AI 系統的發現,并提供改進意見回饋。

● 最終客戶:必要時聯系客戶以獲取更多資訊。

Coinbase re:Invent 回顧 (IND3312)

Coinbase 利用對話式 AI 擴展支援、合規和生產力

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助,并能適應市場波動。

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢(例如登錄問題、雙因素

● 注重準確性,以建立堅實的基礎 身份驗證)。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞,理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成(RAG)系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序

Cohere 的 Rerank 模型主要功能

● Rerank-v3.5:最先進的性能、增強的推理能力和廣泛的資料

● Rerank-english-v3.0:英文文件和半結構化資料。兼容性(文本、JSON、程式碼)。

● Rerank-multilingual-v3.0:適用于非英文內容,支援 100 多種語言。- Rerank 3 Nimble:針對電子商務搜尋等高流量用例優先提高效率并降低延遲,從而提升轉化率。

交叉編碼器架構

一種在單個序列中聯合處理兩個輸入(例如查詢和文件)的模型,

利用所有 token 之間的交叉注意力機制來確定其相關性。

主要特征

● 聯合處理

● 交叉注意力

● 單一輸出

● 第一階段(雙編碼器)

● 第二階段(交叉編碼器)

合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性,并能適應各國不同的監管要求

。

🛠合規策略

● 利用內部平臺,透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例;該模型構建

于基于 AnyScale 的 ML 平臺之上。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

Ray AI 庫

● Ray Data:用于可擴展資料處理,尤其適合圖像、

● Ray Train:用于分布式模型訓練,可與 PyTorch、

音頻和影片等非結構化資料。

● Ray Tune:用于可擴展、容錯的超參數調優和

PyTorch Lightning 及 Hugging Face Transformers 等框架集成。

● Ray Serve:將機器學習模型部署并提供為可擴展、可編程的

實驗執行框架。

● RLlib:工業級強化學習庫,支援

低延遲 API。

從機器人到金融等廣泛應用。

合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器,是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

人在回路流程

與兩類人員角色互動

● 合規運營專員:審查 AI 系統的發現,并提供

● 最終客戶:必要時聯系客戶以獲取更多資訊和改進意見回饋。

Coinbase re:Invent 回顧 (IND3312)

透過對話式人工智能擴展支援、合規和生產力

客戶支援聊天機器人

● 超過50%的客戶更喜歡聊天作為他們的支援渠道。

● 在Coinbase的廣泛知識庫上進行訓練。

● 全天候提供即時、準確的幫助,適應市場波動。

FAQ風格的RAG回應

● 簡單的FAQ風格回應,自動化常見查詢(例如,登錄問題、雙因素認證)。

● 專注于準確性,以建立堅實的基礎。

Cohere的Rerank模型提高搜尋相關性

● 語義上重新排序初始搜尋結果

● 理解查詢-文件上下文,超越關鍵詞

● 支援超過100種語言

● 處理復雜資料,如JSON和程式碼

● 改進檢索增強生成(RAG)系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中作為強大的第二階段功能

● 透過深度相關性分數對關鍵詞或向量搜尋結果進行排序

Cohere的Rerank模型主要特點

● Rerank-v3.5:最先進的性能,增強的推理和廣泛的資料兼容性(文本、JSON、程式碼)。

● Rerank-english-v3.0:英文文件和半結構化資料。

● Rerank-multilingual-v3.0:用于非英語內容,支援超過100種語言。

● Rerank 3 Nimble:優先考慮效率和更低的延遲,適用于電子商務搜尋等高容量使用案例,提高

轉化率。

交叉編碼器架構

一種模型,使用所有權杖之間的交叉注意機制,共同處理兩個輸入(如查詢和文件)的單個序

列,以確定它們的相關性。

主要特點

● 聯合處理

● 交叉注意

● 單一輸出

● 第一階段(雙編碼器)

● 第二階段(交叉編碼器)

合規流程

● 實施KYC、KYB和TMS。

● 嚴重依賴人力資源和徹底調查。

● 需要詳細的可解釋性和適應各國不同監管要求的能力。

🛠合規策略

● 利用內部平臺透過MCP介面存取LLM和資料。

● 包含一個傳統的機器學習模型來檢測高風險合規案例,基于AnyScale的ML平臺構建。

Ray驅動的可擴展性:

● 優化和管理Ray集群。

● 在數千個CPU和GPU上高效分配和擴展。

● 處理大規模資料集和復雜模型。

Ray AI庫

● Ray Data:用于可擴展資料處理,特別適合圖像、音頻和影片等非結構化資料。

● Ray Train:用于分布式模型訓練,集成了PyTorch、PyTorch

● Lightning和Hugging Face

● Ray Tune:一個可擴展和容錯的超參數調優和實驗執行框架。

Transformers等框架。

● Ray Serve:用于部署和服務機器學習模型,作為可擴展、可編程的低延遲API。

● RLlib:一個工業級的強化學習庫,支援從機器人到金融的廣泛應用。

合規自動解決引擎(CAR)

● 解決方案的核心,作為整體審查流程的協調者。

● 在代理人工智能驅動的工作流程程中調動自動化和人類專業知識。

👥 人類參與流程

與兩個人類角色的互動:

● 合規運營代理:審查人工智能系統的發現并提供改進意見回饋。

● 最終客戶:在必要時尋求額外資訊。

2024 年:采用與擴展

● 發布 Amazon Bedrock 和其他用于安全資料存取與管理的解決方案。

● 客戶開始在客戶支援等關鍵領域使用 AI。

● 關注重點轉向規模、容量和精細安全控制。

● 探索將良好架構框架應用于 AI,以支援未來增長。

● 2025 年:高級 AI 應用

● 多代理自主應用開始涌現。

● 客戶希望轉型核心業務運營和部門。

● 強調可衡量的影響和業務 KPI。

● 從單一工具轉向徹底革新客戶和員工工作流程。

用于 Gen AI 的 AWS 服務

AWS 產品

● 用于快速部署的預構建代理。

● 試驗開源工具。

● 構建自訂代理。

● 提供模型、工具、基礎設施和專業知識。

● AI 基礎設施和工具

● 強大的 AI 基礎設施、自研晶片和資料基礎工具。

● 在安全、彈性和全球規模化基礎設施方面積累了數十年經驗。

● 針對資料隱私、存取管理、監控和可觀測性的高級控制。

● AWS Transform

● 自動實現傳統工作負載現代化(例如 .NET 框架、VMware)。

● Amazon Connect 中的代理和市場中的工具。

● 投資改進 AI 的介面、協議、安全和網路。

Amazon Bedrock

服務概述

● 用于構建、部署和運營 Gen AI 應用程序的完全託管式服務。

● 透過單一 API 存取領先的基礎模型(Anthropic、Meta、Mistral、Amazon)。

● 持續新增新模型。

● 定制與安全

● 提供使用資料對模型和應用程序進行私有定制的工具。

● 應用安全防護機制、成本優化和延遲降低措施。

● 支援快速迭代。

● AgentCore:

● 一組用于安全、可擴展地部署和運營代理的服務。

● 無伺服器特性消除了基礎設施管理需求。

代理部署面臨的挑戰

Gartner 預測

● 預計到 2027 年,超過 40% 的代理 AI 項目將被取消。

● 原因:成本不斷增加、業務價值不明確、安全性不足。

● 主要挑戰

● 專用執行階段:需要不同于典型應用程序的執行階段環境。

● 無狀態 LLM:代理需要記憶來保留上下文并提供個性化體驗。

● 精細訓練的身份:透過存取控制確保代理只能存取適當的系統和資料。

● 自訂工具交互:確保 AI 代理能夠在適當的身份控制下發現自訂工具和資料源并與之交互。

自主多步驟工作流程

● 代理需要獨立執行復雜的多步驟工作流程。

● 工作流程中的通用工具需要設為共享或受限。

● 專用監控

● 必須使用專為代理 AI 設計的監控系統。

● 代理的原型設計與生產部署存在差異。

Amazon Bedrock AgentCore

模塊化和快速迭代方法

● 專為構建可擴展的生產級代理而設計。

● Agent Core Runtime

● 用于部署和擴展動態代理與工具的安全無伺服器執行階段。

● 支援多種框架、協議和模型選擇。

● 可靠執行多模態、實時和長時間執行的代理(最長 8 小時)。

● 提供檢查點和恢復能力,可從容處理中斷或故障。

● Agent Core Gateway

● 幫助將 MCP 伺服器和 API 與代理集成。

● 為代理提供多種工具。

● Agent Core Browser 和 Code Interpreter

● 允許代理根據指定條款和規則在瀏覽器中自主操作或執行程式碼。

支援工具

Agent Core Identity

● 利用安全和身份功能構建企業級 AI 代理。

● 包括基于標準的身份驗證、與現有身份提供商的兼容性和 OAuth 支援。

● 提供安全 token 保管庫,打造順暢的使用者體驗。

● Agent Core Memory

● 使代理能夠存儲和檢索短期及長期記憶,以支援復雜工作流程。

● 支援在共享記憶中持續使用使用者輸入和歷史記錄。

● 可觀測性

● 集中管理 Gen AI 可觀測性堆棧,整合日志、跟蹤和指標。

● 大規模衡量性能和準確性。

Coinbase 對生成式 AI 的應用

加密貨幣與經濟自由

● 加密貨幣賦能經濟自由和全球經濟中的公平參與。

● Coinbase 的使命是將經濟自由拓展到超過 10 億人。

● Coinbase 的關鍵支柱

● 建立信任

● 以頂級安全措施保護使用者資產。

● 實施強有力的保護措施,防止欺詐和帳戶盜用。

● 讓加密貨幣觸手可及

● 使用 AI 和機器學習設計直觀、個性化的體驗。

● 簡化復雜的金融產品。

● 全球規模化

● 高效快速地運營,為 100 多個國家/地區的數百萬使用者提供支援。

● 管理數十億美元的交易量。

使用者旅程與 ML 應用

登錄安全

● ML 模型在使用者登錄時防御帳戶盜用。

● 法定貨幣兌換為加密貨幣

● 當貨幣轉入加密貨幣交易所時,ML 模型評估使用者是否合法以及信用違約風險。

● 將資金轉移到區塊鏈

● ML 模型在將資金釋放到區塊鏈之前評估撤銷風險。

● 使用者體驗個性化

● ML 驅動的個性化

● 個性化搜尋結果、定制新聞源、直觀推薦和實時價格提醒。

● 使用基于海量資料集訓練的高級深度學習模型。

● 自適應風險評分系統

● 使用圖神經網路構建,對區塊鏈地址進行評分。

● 檢測并阻止惡意區塊鏈地址,保護客戶。

● ERC20 詐騙 token 檢測

● 將智能合約審計與機器學習相結合。

● 在資產于交易所上市前進行審查,為客戶提供額外保護。

預測性機器學習模型

加密貨幣市場的波動性

● 加密貨幣市場波動劇烈,需要可靠的基礎設施。

● 預測模型

● 用于在流量激增前擴展后端資料庫,確保市場波動期間性能可靠。

新一代 AI 投資

大語言模型 (LLM)

● 自 2022 年 11 月以來產生了變革性影響,標志著 AI 領域的歷史性時刻。

● 主要應用領域

● 客戶支援:AI 驅動的虛擬助手和面向人工專員的高級工具。

● 合規:生成式 AI(GenAI)簡化復雜調查并應對監管環境。

● 開發人員生產力:提升 Coinbase 開發人員的生產力。

● 加密貨幣客戶支援的挑戰

● 波動性:一個月內使用者活動的波動幅度可達 50%,因此需要可擴展的支援系統。

● 信任:無論市場狀況如何,客戶都需要感到安全并獲得支援。

● 全球運營:支援具有不同語言、法規和期望的使用者。

GenAI 策略

● 內部 GenAI 平臺透過標準介面(OpenAI API 標準和 Model Context Protocol)集成多個 LLM 和資料源。

● 深度

● 針對客戶支援領域的高影響力環節進行投資:

● 使用對話式聊天機器人自動處理面向客戶的工作流程。

● 為人工支援專員提供智能工具以提高效率。

● 從支援工單中提取有價值的洞察,不斷改進產品和服務。

● 用例

● 客戶需要幫助,由此啟動由 GenAI 增強的支援互動循環。

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助,并能適應市場波動。

聊天機器人的開發

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢(例如登錄問題、雙因素身份驗證)。

● 注重準確性,以建立堅實的基礎。

代理架構

使用者輸入和對話歷史記錄

● 存儲在充當記憶層的向量資料庫中。

● RAG 檢索器

● 使用 Bedrock knowledge bases 對 Coinbase 幫助文章進行向量化和存儲。

● 使用 Cohere 的 rerank 模型提高檢索文章的準確性。

● 回應生成

● 混合使用多個 LLM,包括透過 Bedrock 提供的云模型。

● 包含一個以 actor-critic 架構開發的子代理,用于精確生成回應。

● 防護機制

● 由 Bedrock guardrails 提供輸入和輸出防護。

● 防止有害內容和敏感 PII 泄露。

● 使用自訂領域專用篩選器盡量減少提示詞注入。

● 使用自訂規則確保回應有據可依并減少幻覺。

下一層開發

● 行業與 LLM 能力演進

● 認識到需要超越最初的 RAG 層。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞,理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成(RAG)系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序 主要功能與模型

● Rerank-v3.5:最先進的性能、增強的推理能力以及廣泛的資料兼容性(文本、JSON、程式碼)。

● Rerank-english-v3.0:適用于英文文件和半結構化資料。

● Rerank-multilingual-v3.0:適用于非英文內容,支援 100 多種語言。

● Rerank 3 Nimble:針對電子商務搜尋等高流量用例優先提高效率并降低延遲,從而提升轉化率。

● 工作原理

● 輸入:使用者查詢和初始文件列表(來自 Elasticsearch 等關鍵詞搜尋或向量搜尋)。

● 處理:Rerank 模型采用交叉編碼器架構,聯合處理查詢和每份文件,以理解其語義關系。

● 輸出:按順序排列的文件列表,每份文件都有相關性分數,與上下文最相關的結果排在最前。

● 用例與優勢

● 增強企業搜尋:從復雜的內部資料(發票、程式碼)中呈現高度相關的資訊。

● 改進 RAG 系統:透過向 LLM 提供最相關的片段,確保事實依據。

● 多語言應用:跨多種語言進行語義搜尋。

● 降低成本與復雜性:透過一次 API 調用即可輕松與現有搜尋堆棧(例如 Elasticsearch)集成,無需全面改造便可增加語義能力。

交叉編碼器架構

● 一種在單個序列中聯合處理兩個輸入(例如查詢和文件)的模型,利用所有 token 之間的交叉注意力機制來確定其相關性。

● 主要特征

● 聯合處理:核心特征是將查詢和候選文件連接成單一輸入序列,并以特殊 token 分隔。

● 交叉注意力:在 transformer 層內,模型的自注意力機制可以直接比較查詢中的每個 token 與文件中的每個 token。這種細粒度交互可以深入、細致地理解二者的關系和語義相關性。

● 單一輸出:模型通常為該輸入對輸出一個相關性分數(例如 0.0 到 1.0 之間的數字),通常使用透過分類層的 token 所產生的嵌入。

● 現代 AI 系統中的作用:

● 它們主要在兩階段檢索流程中充當重排序器,尤其用于檢索增強生成(RAG)系統:

● 第一階段(雙編碼器):快速高效的雙編碼器模型迅速將龐大的文件語料庫縮小為更小、可管理且可能相關的候選列表(例如前 100 項)。

● 第二階段(交叉編碼器):隨后,交叉編碼器以高精度仔細地重新評估并重新排序這一較小的候選子集,確保將最準確且最符合上下文的結果提供給最終 LLM 以生成回應。

業務流程層

● 增強的聊天機器人能力

● 隨著 LLM 能力提升,聊天機器人得到增強,可以自主遵循業務流程。

● 以對話方式收集資訊,并代表使用者直接采取行動。

● 業務流程作為單一事實來源,供人員和 AI 代理共同使用。

● 自動處理有關使用者帳戶和待處理交易的查詢。

代理架構

● 引入業務流程分類器。

● 將查詢路由到模擬特定業務流程的正確子代理。

● RAG 代理作為專用子代理,執行涉及 RAG 知識庫的流程。

主動解決問題層(預判能力)

● AI 代理利用使用者信號和平臺上的活躍事件來預判常見使用者問題。

● 在代理設計中加入主動解決問題層。

● 如果找不到主動解決方案,主動代理會回退到業務流程分類器。

● 主動代理透過標準化 MCP 伺服器存取資料。

關鍵設計原則

模型選擇

● 采用兼顧準確性、延遲和可擴展性的平衡方法。

● 隨著模型能力演進持續重新評估。

● 工具標準化

● 透過 Model Context Protocol(MCP)對工具存取進行標準化。

● 為客戶支援和其他領域奠定堅實基礎。

● 業務適應性

● 為人員和 AI 提供支援的業務流程單一事實來源。

● 增強業務適應性。

● 有據可依的回應

● 強調回應的事實正確性。

監控與評估

● LLM-as-a-Judge 評估

● 評估聊天機器人回應的相關性、準確性、潛在偏見、幻覺等。

● 主動跟蹤品質指標和趨勢,以快速發現異常。

專員輔助工具

目的

● 旨在幫助人工客戶支援專員處理復雜問題。

● 為診斷和緩解客戶問題提供實時協助。

● 功能

● 利用帳戶信號、持續事件資料和過往客戶支援工單。

● 提供個性化指導,并以多種語言生成準確回應。

● 影響

● 更快解決問題、提高客戶滿意度,并提升支援團隊效率。

● 接近 65% 的客戶聯系由 AI 系統自動處理。

● 每年節省近 500 萬個員工工時并顯著降低成本。

● 65% 的自動化案例可在一次互動中解決,從而改善使用者體驗。

合規的重要性

● 對 Coinbase 這樣的金融科技實體而言,遵守 AML/CFT(反洗錢/反恐怖融資)標準至關重要。

● 致力于防止平臺上的不當行為。

● 合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性,并能適應各國不同的監管要求。

● 合規策略

● 利用內部平臺,透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例;該模型構建于基于 AnyScale 的 ML 平臺之上。

● 深度

● 使用高級深度學習模型檢測 KYC、KYB 和 TMS 中的高風險案例。

● 透過 AI 自動執行并加速復雜調查。

● 從各種來源收集并綜合資料,以便在合規工作流程中開展嚴謹調查。

合規輔助工具

目的

● 面向合規專員的輔助工具,類似于客戶支援專員輔助工具。

● 功能

● 由 AI 從內部系統和開源情報中收集并綜合資訊。

● 編寫敘述性摘要和明確的風險審查信號。

● 為合規專員提供文件完整、可解釋的調查,使其能夠充分了解情況并自信地作出決策。

● 影響

● 為合規團隊賦能并提升合規運營標準。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

● 統一的開發人員體驗:

● 簡化從實驗到生產的工作流程。

● 交互式開發控制臺。

● 內置 IDE。

● 用于調試分布式工作負載的工具。

● 旨在提高開發人員生產力。

● 生產就緒:

● 在 Ray 之上增加企業級功能。

● 高級可觀測性。

● 資料治理。

● 成本跟蹤。

● 強大的管理工具。

● 確保 ML 模型的可靠性、安全性和性能。

● 云無關部署:

● 支援跨多個云提供商(AWS、Google Cloud)進行部署。

● 支援本地 Kubernetes 集群。

● 讓組織能夠利用現有基礎設施。

● 保持對資料和資源的控制。

● 優化與集成:

● 包括性能和成本降低方面的優化。

● 與重要 ML 工具集成:

● 使用 Weights & Biases 跟蹤實驗。

● 使用 Astronomer 編排工作流程(采用 Apache Airflow)。

● 聚焦 AI 民主化:

● 簡化分布式計算的復雜性。

● 旨在讓高級 AI 和 ML 能力更易于使用。

● Ray AI 庫

● Ray Data:用于可擴展資料處理,尤其適合圖像、音頻和影片等非結構化資料。

● Ray Train:用于分布式模型訓練,可與 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。

● Ray Tune:用于可擴展、容錯的超參數調優和實驗執行的框架。

● Ray Serve:將機器學習模型部署并提供為可擴展、可編程的低延遲 API。

● RLlib:工業級強化學習庫,支援從機器人到金融等廣泛應用。

面向合規的代理架構

啟動

● 當深度學習合規風險模型針對高風險案例觸發警報時,流程開始。

● 啟動整體審查,即對高風險合規案例進行全面調查。

● 合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器,是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

● 人在回路流程

● 與兩類人員角色互動:

● 合規運營專員:審查 AI 系統的發現,并提供改進意見回饋。

● 最終客戶:必要時聯系客戶以獲取更多資訊。

● 資料聚合與綜合

● 引擎透過標準化 MCP 資料連接器,聚合并綜合來自各種來源(內部、外部、開源情報)的資料。

● 最終形成一份稱為敘述性摘要的可靠 AI 生成報告。

● 最終決定

● 人工合規運營專員審查 AI 的推理和合規證據。

● 確定案例是否需要向政府部門提交可疑活動報告。

開發人員生產力

SDLC 中的 AI

● AI 代理在軟體開發生命周期(SDLC)的不同階段協助工程團隊。

● 整合編碼、工單、文件編寫、建立拉取請求和審查拉取請求等任務。

● 重點領域

● 程式碼編寫

● 程式碼審查

● 品質保證

程式碼編寫工具

Cloud Code

● 直接集成到 IDE 或命令行中的先進編碼助手。

● Cursor

● 智能、可感知上下文的 IDE,旨在實現更快速、更協作且更高效的軟體開發。

● 作為一個選項提供,開發人員可根據偏好進行選擇。

● 底層模型

● 工具由透過 Bedrock 提供的 Anthropic 模型驅動。

拉取請求與程式碼審查

自研工具

● 改編自開源工具,并使用 Bedrock 中的模型進行了增強。

● 實現為由 AI 驅動的 GitHub action,以自動執行 PR 審查。

● 定義:

● “自研工具”是公司或社區內部開發的軟體、應用程序或解決方案,用于解決特定的獨特問題。

● 開發方法:

● 通常使用自訂腳本建立。

● 利用 Visio 或 Excel 等現有平臺。

● 避免依賴現成產品。

● 功能

● 總結拉取請求及其底層程式碼變更。

● 生成清晰的自然語言審查意見。

● 強制執行編碼約定。

● 指出單元測試覆蓋率缺口。

● 提供調試 CI 故障的提示。

● 影響

● 自動完成程式碼審查的日常環節,讓人工開發人員專注于細微復雜的方面并創造更高價值。

品質保證

自動化 UI 測試工具

● 自研的 AI 驅動工具,用于 Web 和移動 UI 的端到端品質保證自動化。

● 將自然語言測試描述轉換為自主瀏覽器操作。

● 功能

● 使用 BrowserStack 等服務,在不同設備形態中執行瀏覽器操作。

● 透過 Playwright 等框架模擬瀏覽器操作。

● 優勢

● 能夠像人類一樣測試 UI,從而提高品質保證流程的有效性。

AI 對開發人員生產力的影響

程式碼生成

● Coinbase 每天編寫的全部程式碼中,近 40% 由 AI 生成或受到 AI 影響。

● 目標是不久后超過 50%,但仍需人工審查和理解。

● 自動化 PR 審查

● 預計每年可節省約 75,000 小時。

● 透過強制執行編碼約定提高程式碼品質。

● 品質保證

● AI 驅動的 UI 測試工具達到與人工測試人員相當的準確率。

● 在相同時間內發現的缺陷數量是人工的三倍。

● 大幅加快引入新測試的流程(最快只需 15 分鐘)。

● 與傳統手動測試相比,成本降低 86%。