AWS Re:cap 01: Coinbase re:Invent 回顧 (IND3312)

影片： https://www.youtube.com/watch?v=IkK6dSsC5fU

Coinbase 利用對話式 AI 擴展支援、合規和生產力

金融服務中的生成式 AI 發展概觀

2023 年：LLM 的引入

● 用於客戶與企業應用程式的 LLM 開始進入市場。

● 最初著重於資料的信任與安全性。

● 隨之出現關於資料安全性與實用性的疑問。

● 檢索增強生成 (RAG) 對企業的重要性。

● FSI 客戶擁有寶貴資料，但不確定如何安全地加以運用。

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助，并能適應市場波動。

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢（例如登錄問題、雙因素身份驗證）。

● 注重準確性，以建立堅實的基礎。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞，理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成（RAG）系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序 主要功能

● Rerank-v3.5：最先進的性能、增強的推理能力以及廣泛的資料兼容性（文本、JSON、程式碼）。

● Rerank-english-v3.0：適用于英文文件和半結構化資料。

● Rerank-multilingual-v3.0：適用于非英文內容，支援 100 多種語言。

● Rerank 3 Nimble：針對電子商務搜尋等高流量用例優先提高效率并降低延遲，從而提升轉化率。

交叉編碼器架構

● 一種在單個序列中聯合處理兩個輸入（例如查詢和文件）的模型，利用所有 token 之間的交叉注意力機制來確定其相關性。

● 主要特征

● 聯合處理

● 交叉注意力

● 單一輸出

● 第一階段（雙編碼器）

● 第二階段（交叉編碼器）

合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性，并能適應各國不同的監管要求。

● 合規策略

● 利用內部平臺，透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例；該模型構建于基于 AnyScale 的 ML 平臺之上。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

● Ray AI 庫

● Ray Data：用于可擴展資料處理，尤其適合圖像、音頻和影片等非結構化資料。

● Ray Train：用于分布式模型訓練，可與 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。

● Ray Tune：用于可擴展、容錯的超參數調優和實驗執行的框架。

● Ray Serve：將機器學習模型部署并提供為可擴展、可編程的低延遲 API。

● RLlib：工業級強化學習庫，支援從機器人到金融等廣泛應用。

合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器，是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

● 人在回路流程

● 與兩類人員角色互動：

● 合規運營專員：審查 AI 系統的發現，并提供改進意見回饋。

● 最終客戶：必要時聯系客戶以獲取更多資訊。

Coinbase re:Invent 回顧 (IND3312)

Coinbase 利用對話式 AI 擴展支援、合規和生產力

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助，并能適應市場波動。

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢（例如登錄問題、雙因素

● 注重準確性，以建立堅實的基礎 身份驗證）。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞，理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成（RAG）系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序

Cohere 的 Rerank 模型主要功能

● Rerank-v3.5：最先進的性能、增強的推理能力和廣泛的資料

● Rerank-english-v3.0：英文文件和半結構化資料。兼容性（文本、JSON、程式碼）。

● Rerank-multilingual-v3.0：適用于非英文內容，支援 100 多種語言。- Rerank 3 Nimble：針對電子商務搜尋等高流量用例優先提高效率并降低延遲，從而提升轉化率。

交叉編碼器架構

一種在單個序列中聯合處理兩個輸入（例如查詢和文件）的模型，

利用所有 token 之間的交叉注意力機制來確定其相關性。

主要特征

● 聯合處理

● 交叉注意力

● 單一輸出

● 第一階段（雙編碼器）

● 第二階段（交叉編碼器）

合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性，并能適應各國不同的監管要求

。

🛠合規策略

● 利用內部平臺，透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例；該模型構建

于基于 AnyScale 的 ML 平臺之上。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

Ray AI 庫

● Ray Data：用于可擴展資料處理，尤其適合圖像、

● Ray Train：用于分布式模型訓練，可與 PyTorch、

音頻和影片等非結構化資料。

● Ray Tune：用于可擴展、容錯的超參數調優和

PyTorch Lightning 及 Hugging Face Transformers 等框架集成。

● Ray Serve：將機器學習模型部署并提供為可擴展、可編程的

實驗執行框架。

● RLlib：工業級強化學習庫，支援

低延遲 API。

從機器人到金融等廣泛應用。

合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器，是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

人在回路流程

與兩類人員角色互動

● 合規運營專員：審查 AI 系統的發現，并提供

● 最終客戶：必要時聯系客戶以獲取更多資訊和改進意見回饋。

Coinbase re:Invent 回顧 (IND3312)

透過對話式人工智能擴展支援、合規和生產力

客戶支援聊天機器人

● 超過50%的客戶更喜歡聊天作為他們的支援渠道。

● 在Coinbase的廣泛知識庫上進行訓練。

● 全天候提供即時、準確的幫助，適應市場波動。

FAQ風格的RAG回應

● 簡單的FAQ風格回應，自動化常見查詢（例如，登錄問題、雙因素認證）。

● 專注于準確性，以建立堅實的基礎。

Cohere的Rerank模型提高搜尋相關性

● 語義上重新排序初始搜尋結果

● 理解查詢-文件上下文，超越關鍵詞

● 支援超過100種語言

● 處理復雜資料，如JSON和程式碼

● 改進檢索增強生成（RAG）系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中作為強大的第二階段功能

● 透過深度相關性分數對關鍵詞或向量搜尋結果進行排序

Cohere的Rerank模型主要特點

● Rerank-v3.5：最先進的性能，增強的推理和廣泛的資料兼容性（文本、JSON、程式碼）。

● Rerank-english-v3.0：英文文件和半結構化資料。

● Rerank-multilingual-v3.0：用于非英語內容，支援超過100種語言。

● Rerank 3 Nimble：優先考慮效率和更低的延遲，適用于電子商務搜尋等高容量使用案例，提高

轉化率。

交叉編碼器架構

一種模型，使用所有權杖之間的交叉注意機制，共同處理兩個輸入（如查詢和文件）的單個序

列，以確定它們的相關性。

主要特點

● 聯合處理

● 交叉注意

● 單一輸出

● 第一階段（雙編碼器）

● 第二階段（交叉編碼器）

合規流程

● 實施KYC、KYB和TMS。

● 嚴重依賴人力資源和徹底調查。

● 需要詳細的可解釋性和適應各國不同監管要求的能力。

🛠合規策略

● 利用內部平臺透過MCP介面存取LLM和資料。

● 包含一個傳統的機器學習模型來檢測高風險合規案例，基于AnyScale的ML平臺構建。

Ray驅動的可擴展性：

● 優化和管理Ray集群。

● 在數千個CPU和GPU上高效分配和擴展。

● 處理大規模資料集和復雜模型。

Ray AI庫

● Ray Data：用于可擴展資料處理，特別適合圖像、音頻和影片等非結構化資料。

● Ray Train：用于分布式模型訓練，集成了PyTorch、PyTorch

● Lightning和Hugging Face

● Ray Tune：一個可擴展和容錯的超參數調優和實驗執行框架。

Transformers等框架。

● Ray Serve：用于部署和服務機器學習模型，作為可擴展、可編程的低延遲API。

● RLlib：一個工業級的強化學習庫，支援從機器人到金融的廣泛應用。

合規自動解決引擎（CAR）

● 解決方案的核心，作為整體審查流程的協調者。

● 在代理人工智能驅動的工作流程程中調動自動化和人類專業知識。

👥 人類參與流程

與兩個人類角色的互動：

● 合規運營代理：審查人工智能系統的發現并提供改進意見回饋。

● 最終客戶：在必要時尋求額外資訊。

2024 年：采用與擴展

● 發布 Amazon Bedrock 和其他用于安全資料存取與管理的解決方案。

● 客戶開始在客戶支援等關鍵領域使用 AI。

● 關注重點轉向規模、容量和精細安全控制。

● 探索將良好架構框架應用于 AI，以支援未來增長。

● 2025 年：高級 AI 應用

● 多代理自主應用開始涌現。

● 客戶希望轉型核心業務運營和部門。

● 強調可衡量的影響和業務 KPI。

● 從單一工具轉向徹底革新客戶和員工工作流程。

用于 Gen AI 的 AWS 服務

AWS 產品

● 用于快速部署的預構建代理。

● 試驗開源工具。

● 構建自訂代理。

● 提供模型、工具、基礎設施和專業知識。

● AI 基礎設施和工具

● 強大的 AI 基礎設施、自研晶片和資料基礎工具。

● 在安全、彈性和全球規模化基礎設施方面積累了數十年經驗。

● 針對資料隱私、存取管理、監控和可觀測性的高級控制。

● AWS Transform

● 自動實現傳統工作負載現代化（例如 .NET 框架、VMware）。

● Amazon Connect 中的代理和市場中的工具。

● 投資改進 AI 的介面、協議、安全和網路。

Amazon Bedrock

服務概述

● 用于構建、部署和運營 Gen AI 應用程序的完全託管式服務。

● 透過單一 API 存取領先的基礎模型（Anthropic、Meta、Mistral、Amazon）。

● 持續新增新模型。

● 定制與安全

● 提供使用資料對模型和應用程序進行私有定制的工具。

● 應用安全防護機制、成本優化和延遲降低措施。

● 支援快速迭代。

● AgentCore：

● 一組用于安全、可擴展地部署和運營代理的服務。

● 無伺服器特性消除了基礎設施管理需求。

代理部署面臨的挑戰

Gartner 預測

● 預計到 2027 年，超過 40% 的代理 AI 項目將被取消。

● 原因：成本不斷增加、業務價值不明確、安全性不足。

● 主要挑戰

● 專用執行階段：需要不同于典型應用程序的執行階段環境。

● 無狀態 LLM：代理需要記憶來保留上下文并提供個性化體驗。

● 精細訓練的身份：透過存取控制確保代理只能存取適當的系統和資料。

● 自訂工具交互：確保 AI 代理能夠在適當的身份控制下發現自訂工具和資料源并與之交互。

自主多步驟工作流程

● 代理需要獨立執行復雜的多步驟工作流程。

● 工作流程中的通用工具需要設為共享或受限。

● 專用監控

● 必須使用專為代理 AI 設計的監控系統。

● 代理的原型設計與生產部署存在差異。

Amazon Bedrock AgentCore

模塊化和快速迭代方法

● 專為構建可擴展的生產級代理而設計。

● Agent Core Runtime

● 用于部署和擴展動態代理與工具的安全無伺服器執行階段。

● 支援多種框架、協議和模型選擇。

● 可靠執行多模態、實時和長時間執行的代理（最長 8 小時）。

● 提供檢查點和恢復能力，可從容處理中斷或故障。

● Agent Core Gateway

● 幫助將 MCP 伺服器和 API 與代理集成。

● 為代理提供多種工具。

● Agent Core Browser 和 Code Interpreter

● 允許代理根據指定條款和規則在瀏覽器中自主操作或執行程式碼。

支援工具

Agent Core Identity

● 利用安全和身份功能構建企業級 AI 代理。

● 包括基于標準的身份驗證、與現有身份提供商的兼容性和 OAuth 支援。

● 提供安全 token 保管庫，打造順暢的使用者體驗。

● Agent Core Memory

● 使代理能夠存儲和檢索短期及長期記憶，以支援復雜工作流程。

● 支援在共享記憶中持續使用使用者輸入和歷史記錄。

● 可觀測性

● 集中管理 Gen AI 可觀測性堆棧，整合日志、跟蹤和指標。

● 大規模衡量性能和準確性。

Coinbase 對生成式 AI 的應用

加密貨幣與經濟自由

● 加密貨幣賦能經濟自由和全球經濟中的公平參與。

● Coinbase 的使命是將經濟自由拓展到超過 10 億人。

● Coinbase 的關鍵支柱

● 建立信任

● 以頂級安全措施保護使用者資產。

● 實施強有力的保護措施，防止欺詐和帳戶盜用。

● 讓加密貨幣觸手可及

● 使用 AI 和機器學習設計直觀、個性化的體驗。

● 簡化復雜的金融產品。

● 全球規模化

● 高效快速地運營，為 100 多個國家/地區的數百萬使用者提供支援。

● 管理數十億美元的交易量。

使用者旅程與 ML 應用

登錄安全

● ML 模型在使用者登錄時防御帳戶盜用。

● 法定貨幣兌換為加密貨幣

● 當貨幣轉入加密貨幣交易所時，ML 模型評估使用者是否合法以及信用違約風險。

● 將資金轉移到區塊鏈

● ML 模型在將資金釋放到區塊鏈之前評估撤銷風險。

● 使用者體驗個性化

● ML 驅動的個性化

● 個性化搜尋結果、定制新聞源、直觀推薦和實時價格提醒。

● 使用基于海量資料集訓練的高級深度學習模型。

● 自適應風險評分系統

● 使用圖神經網路構建，對區塊鏈地址進行評分。

● 檢測并阻止惡意區塊鏈地址，保護客戶。

● ERC20 詐騙 token 檢測

● 將智能合約審計與機器學習相結合。

● 在資產于交易所上市前進行審查，為客戶提供額外保護。

預測性機器學習模型

加密貨幣市場的波動性

● 加密貨幣市場波動劇烈，需要可靠的基礎設施。

● 預測模型

● 用于在流量激增前擴展后端資料庫，確保市場波動期間性能可靠。

新一代 AI 投資

大語言模型 (LLM)

● 自 2022 年 11 月以來產生了變革性影響，標志著 AI 領域的歷史性時刻。

● 主要應用領域

● 客戶支援：AI 驅動的虛擬助手和面向人工專員的高級工具。

● 合規：生成式 AI（GenAI）簡化復雜調查并應對監管環境。

● 開發人員生產力：提升 Coinbase 開發人員的生產力。

● 加密貨幣客戶支援的挑戰

● 波動性：一個月內使用者活動的波動幅度可達 50%，因此需要可擴展的支援系統。

● 信任：無論市場狀況如何，客戶都需要感到安全并獲得支援。

● 全球運營：支援具有不同語言、法規和期望的使用者。

GenAI 策略

● 內部 GenAI 平臺透過標準介面（OpenAI API 標準和 Model Context Protocol）集成多個 LLM 和資料源。

● 深度

● 針對客戶支援領域的高影響力環節進行投資：

● 使用對話式聊天機器人自動處理面向客戶的工作流程。

● 為人工支援專員提供智能工具以提高效率。

● 從支援工單中提取有價值的洞察，不斷改進產品和服務。

● 用例

● 客戶需要幫助，由此啟動由 GenAI 增強的支援互動循環。

客戶支援聊天機器人

● 超過 50% 的客戶更喜歡將聊天作為支援渠道。

● 基于 Coinbase 龐大的知識庫進行訓練。

● 全天候提供即時、準確的幫助，并能適應市場波動。

聊天機器人的開發

FAQ 風格的 RAG 回應

● 透過簡單的 FAQ 風格回應自動處理常見查詢（例如登錄問題、雙因素身份驗證）。

● 注重準確性，以建立堅實的基礎。

代理架構

使用者輸入和對話歷史記錄

● 存儲在充當記憶層的向量資料庫中。

● RAG 檢索器

● 使用 Bedrock knowledge bases 對 Coinbase 幫助文章進行向量化和存儲。

● 使用 Cohere 的 rerank 模型提高檢索文章的準確性。

● 回應生成

● 混合使用多個 LLM，包括透過 Bedrock 提供的云模型。

● 包含一個以 actor-critic 架構開發的子代理，用于精確生成回應。

● 防護機制

● 由 Bedrock guardrails 提供輸入和輸出防護。

● 防止有害內容和敏感 PII 泄露。

● 使用自訂領域專用篩選器盡量減少提示詞注入。

● 使用自訂規則確保回應有據可依并減少幻覺。

下一層開發

● 行業與 LLM 能力演進

● 認識到需要超越最初的 RAG 層。

Cohere 的 Rerank 模型提升搜尋相關性

● 對初始搜尋結果進行語義重新排序

● 超越關鍵詞，理解查詢與文件的上下文

● 支援 100 多種語言

● 處理 JSON 和程式碼等復雜資料

● 改進檢索增強生成（RAG）系統

● 提高企業搜尋準確性

● 提供更快的使用者體驗

● 在搜尋管線中充當強大的第二階段

● 按深層相關性分數對關鍵詞搜尋或向量搜尋結果進行排序 主要功能與模型

● Rerank-v3.5：最先進的性能、增強的推理能力以及廣泛的資料兼容性（文本、JSON、程式碼）。

● Rerank-english-v3.0：適用于英文文件和半結構化資料。

● Rerank-multilingual-v3.0：適用于非英文內容，支援 100 多種語言。

● Rerank 3 Nimble：針對電子商務搜尋等高流量用例優先提高效率并降低延遲，從而提升轉化率。

● 工作原理

● 輸入：使用者查詢和初始文件列表（來自 Elasticsearch 等關鍵詞搜尋或向量搜尋）。

● 處理：Rerank 模型采用交叉編碼器架構，聯合處理查詢和每份文件，以理解其語義關系。

● 輸出：按順序排列的文件列表，每份文件都有相關性分數，與上下文最相關的結果排在最前。

● 用例與優勢

● 增強企業搜尋：從復雜的內部資料（發票、程式碼）中呈現高度相關的資訊。

● 改進 RAG 系統：透過向 LLM 提供最相關的片段，確保事實依據。

● 多語言應用：跨多種語言進行語義搜尋。

● 降低成本與復雜性：透過一次 API 調用即可輕松與現有搜尋堆棧（例如 Elasticsearch）集成，無需全面改造便可增加語義能力。

交叉編碼器架構

● 一種在單個序列中聯合處理兩個輸入（例如查詢和文件）的模型，利用所有 token 之間的交叉注意力機制來確定其相關性。

● 主要特征

● 聯合處理：核心特征是將查詢和候選文件連接成單一輸入序列，并以特殊 token 分隔。

● 交叉注意力：在 transformer 層內，模型的自注意力機制可以直接比較查詢中的每個 token 與文件中的每個 token。這種細粒度交互可以深入、細致地理解二者的關系和語義相關性。

● 單一輸出：模型通常為該輸入對輸出一個相關性分數（例如 0.0 到 1.0 之間的數字），通常使用透過分類層的 token 所產生的嵌入。

● 現代 AI 系統中的作用：

● 它們主要在兩階段檢索流程中充當重排序器，尤其用于檢索增強生成（RAG）系統：

● 第一階段（雙編碼器）：快速高效的雙編碼器模型迅速將龐大的文件語料庫縮小為更小、可管理且可能相關的候選列表（例如前 100 項）。

● 第二階段（交叉編碼器）：隨后，交叉編碼器以高精度仔細地重新評估并重新排序這一較小的候選子集，確保將最準確且最符合上下文的結果提供給最終 LLM 以生成回應。

業務流程層

● 增強的聊天機器人能力

● 隨著 LLM 能力提升，聊天機器人得到增強，可以自主遵循業務流程。

● 以對話方式收集資訊，并代表使用者直接采取行動。

● 業務流程作為單一事實來源，供人員和 AI 代理共同使用。

● 自動處理有關使用者帳戶和待處理交易的查詢。

代理架構

● 引入業務流程分類器。

● 將查詢路由到模擬特定業務流程的正確子代理。

● RAG 代理作為專用子代理，執行涉及 RAG 知識庫的流程。

主動解決問題層（預判能力）

● AI 代理利用使用者信號和平臺上的活躍事件來預判常見使用者問題。

● 在代理設計中加入主動解決問題層。

● 如果找不到主動解決方案，主動代理會回退到業務流程分類器。

● 主動代理透過標準化 MCP 伺服器存取資料。

關鍵設計原則

模型選擇

● 采用兼顧準確性、延遲和可擴展性的平衡方法。

● 隨著模型能力演進持續重新評估。

● 工具標準化

● 透過 Model Context Protocol（MCP）對工具存取進行標準化。

● 為客戶支援和其他領域奠定堅實基礎。

● 業務適應性

● 為人員和 AI 提供支援的業務流程單一事實來源。

● 增強業務適應性。

● 有據可依的回應

● 強調回應的事實正確性。

監控與評估

● LLM-as-a-Judge 評估

● 評估聊天機器人回應的相關性、準確性、潛在偏見、幻覺等。

● 主動跟蹤品質指標和趨勢，以快速發現異常。

專員輔助工具

目的

● 旨在幫助人工客戶支援專員處理復雜問題。

● 為診斷和緩解客戶問題提供實時協助。

● 功能

● 利用帳戶信號、持續事件資料和過往客戶支援工單。

● 提供個性化指導，并以多種語言生成準確回應。

● 影響

● 更快解決問題、提高客戶滿意度，并提升支援團隊效率。

● 接近 65% 的客戶聯系由 AI 系統自動處理。

● 每年節省近 500 萬個員工工時并顯著降低成本。

● 65% 的自動化案例可在一次互動中解決，從而改善使用者體驗。

合規的重要性

● 對 Coinbase 這樣的金融科技實體而言，遵守 AML/CFT（反洗錢/反恐怖融資）標準至關重要。

● 致力于防止平臺上的不當行為。

● 合規流程

● 實施 KYC、KYB 和 TMS。

● 高度依賴人力資源和全面調查。

● 需要詳盡的可解釋性，并能適應各國不同的監管要求。

● 合規策略

● 利用內部平臺，透過 MCP 介面存取 LLM 和資料。

● 納入傳統機器學習模型來檢測高風險合規案例；該模型構建于基于 AnyScale 的 ML 平臺之上。

● 深度

● 使用高級深度學習模型檢測 KYC、KYB 和 TMS 中的高風險案例。

● 透過 AI 自動執行并加速復雜調查。

● 從各種來源收集并綜合資料，以便在合規工作流程中開展嚴謹調查。

合規輔助工具

目的

● 面向合規專員的輔助工具，類似于客戶支援專員輔助工具。

● 功能

● 由 AI 從內部系統和開源情報中收集并綜合資訊。

● 編寫敘述性摘要和明確的風險審查信號。

● 為合規專員提供文件完整、可解釋的調查，使其能夠充分了解情況并自信地作出決策。

● 影響

● 為合規團隊賦能并提升合規運營標準。

Ray 驅動的可擴展性

● 優化并管理 Ray 集群。

● 在數千個 CPU 和 GPU 之間進行高效分配和擴展。

● 處理海量資料集和復雜模型。

● 統一的開發人員體驗：

● 簡化從實驗到生產的工作流程。

● 交互式開發控制臺。

● 內置 IDE。

● 用于調試分布式工作負載的工具。

● 旨在提高開發人員生產力。

● 生產就緒：

● 在 Ray 之上增加企業級功能。

● 高級可觀測性。

● 資料治理。

● 成本跟蹤。

● 強大的管理工具。

● 確保 ML 模型的可靠性、安全性和性能。

● 云無關部署：

● 支援跨多個云提供商（AWS、Google Cloud）進行部署。

● 支援本地 Kubernetes 集群。

● 讓組織能夠利用現有基礎設施。

● 保持對資料和資源的控制。

● 優化與集成：

● 包括性能和成本降低方面的優化。

● 與重要 ML 工具集成：

● 使用 Weights & Biases 跟蹤實驗。

● 使用 Astronomer 編排工作流程（采用 Apache Airflow）。

● 聚焦 AI 民主化：

● 簡化分布式計算的復雜性。

● 旨在讓高級 AI 和 ML 能力更易于使用。

● Ray AI 庫

● Ray Data：用于可擴展資料處理，尤其適合圖像、音頻和影片等非結構化資料。

● Ray Train：用于分布式模型訓練，可與 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。

● Ray Tune：用于可擴展、容錯的超參數調優和實驗執行的框架。

● Ray Serve：將機器學習模型部署并提供為可擴展、可編程的低延遲 API。

● RLlib：工業級強化學習庫，支援從機器人到金融等廣泛應用。

面向合規的代理架構

啟動

● 當深度學習合規風險模型針對高風險案例觸發警報時，流程開始。

● 啟動整體審查，即對高風險合規案例進行全面調查。

● 合規自動解決引擎 (CAR)

● 作為整體審查流程的編排器，是解決方案的核心。

● 在代理 AI 驅動的工作流程中同時調動自動化能力和人類專業知識。

● 人在回路流程

● 與兩類人員角色互動：

● 合規運營專員：審查 AI 系統的發現，并提供改進意見回饋。

● 最終客戶：必要時聯系客戶以獲取更多資訊。

● 資料聚合與綜合

● 引擎透過標準化 MCP 資料連接器，聚合并綜合來自各種來源（內部、外部、開源情報）的資料。

● 最終形成一份稱為敘述性摘要的可靠 AI 生成報告。

● 最終決定

● 人工合規運營專員審查 AI 的推理和合規證據。

● 確定案例是否需要向政府部門提交可疑活動報告。

開發人員生產力

SDLC 中的 AI

● AI 代理在軟體開發生命周期（SDLC）的不同階段協助工程團隊。

● 整合編碼、工單、文件編寫、建立拉取請求和審查拉取請求等任務。

● 重點領域

● 程式碼編寫

● 程式碼審查

● 品質保證

程式碼編寫工具

Cloud Code

● 直接集成到 IDE 或命令行中的先進編碼助手。

● Cursor

● 智能、可感知上下文的 IDE，旨在實現更快速、更協作且更高效的軟體開發。

● 作為一個選項提供，開發人員可根據偏好進行選擇。

● 底層模型

● 工具由透過 Bedrock 提供的 Anthropic 模型驅動。

拉取請求與程式碼審查

自研工具

● 改編自開源工具，并使用 Bedrock 中的模型進行了增強。

● 實現為由 AI 驅動的 GitHub action，以自動執行 PR 審查。

● 定義：

● “自研工具”是公司或社區內部開發的軟體、應用程序或解決方案，用于解決特定的獨特問題。

● 開發方法：

● 通常使用自訂腳本建立。

● 利用 Visio 或 Excel 等現有平臺。

● 避免依賴現成產品。

● 功能

● 總結拉取請求及其底層程式碼變更。

● 生成清晰的自然語言審查意見。

● 強制執行編碼約定。

● 指出單元測試覆蓋率缺口。

● 提供調試 CI 故障的提示。

● 影響

● 自動完成程式碼審查的日常環節，讓人工開發人員專注于細微復雜的方面并創造更高價值。

品質保證

自動化 UI 測試工具

● 自研的 AI 驅動工具，用于 Web 和移動 UI 的端到端品質保證自動化。

● 將自然語言測試描述轉換為自主瀏覽器操作。

● 功能

● 使用 BrowserStack 等服務，在不同設備形態中執行瀏覽器操作。

● 透過 Playwright 等框架模擬瀏覽器操作。

● 優勢

● 能夠像人類一樣測試 UI，從而提高品質保證流程的有效性。

AI 對開發人員生產力的影響

程式碼生成

● Coinbase 每天編寫的全部程式碼中，近 40% 由 AI 生成或受到 AI 影響。

● 目標是不久后超過 50%，但仍需人工審查和理解。

● 自動化 PR 審查

● 預計每年可節省約 75,000 小時。

● 透過強制執行編碼約定提高程式碼品質。

● 品質保證

● AI 驅動的 UI 測試工具達到與人工測試人員相當的準確率。

● 在相同時間內發現的缺陷數量是人工的三倍。

● 大幅加快引入新測試的流程（最快只需 15 分鐘）。

● 與傳統手動測試相比，成本降低 86%。