← Financial Cloud Cloud Cloud Club · AWS Re:cap

極點宏觀|Financial Cloud Cloud · AWS Re:cap

AWS Re:cap 04: FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)

講者: AWS re:Invent 2025

場次: 04

場次
Summit Dev Lounge2026 Re:cap
01 把架構寫成 Steering,引導 AI Agent
02 Agent Harness 才是真正的工程護城河
03 用白話詢問可觀測性資料
04 以 Bedrock AgentCore 打造 Serverless AR 遊戲
05 AgentCore 上的多 Agent 量化回測
06 三分鐘用 Kiro 把部落格變簡報
AWS Community Day Hong Kong 2025 Re:cap
02 使用 Terraform 實現 AWS 合規
03 從新手到開發者:一段精彩的 AWS 雲端旅程
04 以團隊為優先:使用 Laravel 與 Bref 進行無伺服器工程
05 活動開幕
06 Agent-to-Agent:在 AWS 上打造可互通的 AI
07 運用另一種遙測資料,透過 AI Agent 加速改善
08 告別 Vibe Coding:運用 Kiro 實踐規格驅動開發(Spec-Driven Development)
09 運用 MCP 與 AI 代理進行自動化測試
10 以 ML 驅動的方法實現電信安全現代化
11 重新思考 GenAI Agent:RAG 與 MCP
12 運用 TAK 與 AWS 進行災害及緊急應變
13 從測試角度重新思考 Serverless 應用程式工作流程
14 運用實務 AWS FinOps 邁向雲端成功
15 運用 AWS 打造 AI 驅動的全球 Pure-Alpha 宏觀交易:革新風險調整後資產報酬
FSI Recap
01 現代交易生命週期:從交易到結算
02 Goldman Sachs:透過 Fast Track 將應用程式移至雲端 - AWS Re:cap Q1/2023
03 Zurich Insurance Group:在 AWS 上建置有效的日誌管理解決方案
04 FSI Meetup 2025 Q4 - Brex 資料庫災難復原
05 FSI Meetup 2025 Q4 - Graviton 遷移成功案例
06 FSI Meetup 2025 Q4 - Stifel 現代化資料平台
07 FSI Meetup 2025 Q4 - PayPal 金融交易資料對帳器
08 FSI Meetup 2025 Q4 - 擴展韌性
09 最大化 AI 推論成本效益:策略性採用 AWS GPU 執行個體
10 進階代理式 AI 設計模式
11 在 AWS 上建置全新現代化應用程式
AWS re:Invent 2025
01 Coinbase re:Invent 回顧 (IND3312)
02 利用 AI 和 AWS 構建未來交易平臺
03 交易創新:Jefferies 在 Amazon Bedrock 上的 AI 助理 (IND3315)
04 FSI 如何運用代理式 AI 徹底改造 HFT 分析 (GBL302)
05 透過 Amazon Time Sync 改善分散式系統,Nasdaq 專題分享
06 Amazon Aurora HA 與 DR 的全球韌性設計模式 (DAT442)
07 建構代理式 AI:Amazon Nova Act 與 Strands Agents 實務應用 (DEV327)
08 深入探討 Amazon Aurora 及其創新 (DAT441)
09 深入探討 Amazon S3 (STG407)
10 Nasdaq:為全球金融服務打造具彈性的基礎設施(HMC327)
11 AWS Lambda 的最新功能 (CNS376)
12 使用 Kiro 進行規格驅動開發 (DEV314)
13 Amazon 的 FinOps:全球電子商務巨擘的雲端成本經驗 (AMZ308)
14 AWS 上的 Tick-to-trade 延遲交易平台
政務資料
01 The AI Era: The Boundary Between Development and Design Is Disappearing
02 裝置端多模態 AI 與智慧城市實踐
03 大模型能力評測與 AI 專案落地方法論
04 基於雲端代理的政府開發全鏈路受控自動化
05 從多智能體看 Agent 時代軟體新生態
06 AI 驅動的宏觀量化研究與智慧治理
07 公共數據授權營運與智慧政務實踐
08 数据资产化落地实践:确权合规、工程治理与数字政府案例
09 AI技術賦能心理健康公益:可信平台的治理、架構與實踐
Amarathon 2025 回顧
01 開發人員的代理架構設計路線圖
02 Amazon Bedrock 資料自動化
03 AgentCore 上的多代理
04 實務建置代理式 AI:Nova Act 與 Strands Agents
04 運用規格驅動開發,以 Kiro 加速移轉專案
06 從「比對」到「理解」:由 AgentCore Memory 驅動的個人化 AI 搜尋實踐
07 從觀察到最佳化:從 LLM 可觀測性邁向 AIOps,將即時洞察轉化為智慧自動化
08 部署 TEAM 並打造最佳工程團隊
09 五年來所謂無伺服器資料庫帶來的五個慘痛教訓
14 如果 AI 替我工作會怎樣:Q Developer CLI 與 Kiro 如何改變我的日常工作
16 兼顧速度與警覺:Amazon Bedrock Agent 開發的安全要點
26 在單張 H100 上執行 OSS LLM:更聰明、更便宜、更快速
28 現代化統一中繼資料架構:打破資料孤島的新方法
29 無伺服器 MediaOps:運用 Amazon Web Services 上的 AI 自動化影片工作流程
30 透過大規模效能測試建構兼具效率與可靠性的架構
31 透過開放原始碼連結世界:技術、社群與全球開發者關係的實踐歷程
33 建置串流 Iceberg 資料表以進行即時物流分析
34 加速大規模機器人策略訓練:以 Kiro、Trainium 與 EKS 為基礎的自動化閉環架構
35 透過規格驅動開發,從 Vibe 走向可行方案
36 讓雲端成本分析更智慧:使用 Strands 與 AgentCore 建置 FinOps 智慧 Agent
37 使用 CNCF Kagent、K8sGPT 與 Nova Sonic,轉型 K8s 對話式 Agentic AIOps

影片: https://www.youtube.com/watch?v=TCJPcVhlQns

簡介

● 免責聲明:所表達的觀點純屬個人意見,不代表 AWS 或相關組織的官方立場。僅供參考,不構成財務或專業建議。

● 交易生態系統概觀

● 參與者:買方與賣方在交易所下單。

● 市場流動性:可能沒有足夠的流動性。

● 造市商的角色:確保持續存在買進與賣出委託,提供流動性及交易對手。

● 委託簿抽象表示

● 買進委託(左側):買方的委託。

● 賣出委託(右側):賣方的委託。

● Y 軸:每個價位的累計數量。

● 價位:價格越高越靠近右側。

● 造市商的日常工作

● 掛出多筆買進與賣出委託。

● 風險管理:新聞或公告可能造成市場大幅波動。

● 庫存管理:對避免因市場突然變動而蒙受損失至關重要。

● 造市商的理想市場條件

● 可控波動性:市場小幅波動。

● 快速執行:快速執行買進與賣出委託。

● 高週轉率:儘管每筆交易利潤不高,高頻率交易仍可帶來可觀的整體利潤。

造市商策略與波動性因素

價差與利潤的權衡

● 擴大價差:造市商可能考慮擴大價差,以提高每筆交易的利潤。

● 權衡:價差較大可能導致成交次數減少,使整體利潤降低。

● 高頻交易:造市商通常選擇以較低利潤頻繁交易,使週轉率最大化。

● 波動性與價差調整

● 波動性影響:波動性是定價的關鍵因素;造市商會根據預期波動性調整價差。

● 事件驅動的波動性:例如 FOMC 會議對聯邦基金利率的影響。

● 快速分析與行動:造市商必須快速分析新聞並調整委託,以避免損失。

● 影響市場的事件範例

● FOMC 會議:發布時間及結果已知的可預測事件。

● 社群媒體影響:具影響力人物(例如 Trump、Elon Musk)的推文等不可預測事件,可能立即引發市場反應。

● Dogecoin 範例:Elon Musk 關於加密貨幣的推文可能造成價格快速變動,突顯由社群媒體驅動之新聞的不可預測性與解讀難度。

數位資產市場情緒分析的挑戰

意見領袖對數位資產的影響

● 不可預測的特性:Elon Musk 等意見領袖的推文可能迅速影響加密貨幣價格。

● 解讀難度:推文通常具有主觀性,需要智慧解讀。

● 分析速度:人類判斷對即時交易而言過於緩慢;因此需要自動化解決方案。

● 情緒分析方法的演進

● 字典方法:最初使用產業詞彙(例如看跌、看漲)及模式比對的方法。

● 限制:

● 詞彙有限且無法妥善處理內容脈絡(例如將「大規模空頭清算事件」誤解為負面)。

● 統計比對與機器學習:

● 轉向使用 Naive Bayes 或 FinBERT 等模型的監督式學習。

● 優點:更佳的泛化能力與內容脈絡理解。

● 挑戰:需要大量已標記資料,導致成本高昂且上市時間較長。

● 對進階解決方案的需求

● 即時分析:需要快速、自動化的情緒分析,以跟上市場變動。

● 內容脈絡感知:解決方案必須正確解讀內容脈絡,才能提供可靠的情緒分析。

運用大型語言模型 (LLM) 推進情緒分析

以 Transformer 為基礎的多模態推理

● LLM、Claude 及 DeepSeek 等現代 LLM 只需少量微調,即可進行情境感知的情緒分析。

● 能夠針對特定新聞標題及特定領域事件(例如協定遭利用)進行推理。

● 推論效能最佳化

● 對時間窗口短暫的動態市場進行即時情緒分析至關重要。

● 最佳化歷程:

● 2025 年二月:最初使用 SageMaker Jumpstart 部署於 P5EN 執行個體,達到每秒 80 個輸出權杖。

● 2025 年四月:改用 VLLM,啟用多權杖預測、混合精度、線性注意力及分散式平行處理,將效能提升至每秒 140 個輸出權杖。

● 2025 年八月:以 SGLN 取代 VLLM,利用推測解碼達到每秒 180 個輸出權杖。

● 最佳化的重要性

● 高事件量:每分鐘有 10,000 個事件時,每一毫秒的推論延遲都會累積。

● 處理能力加倍:將每秒輸出權杖從 80 提高至 180,可在相同時間窗口內將新聞擷取處理量加倍。

● 端對端延遲:降至 10 秒以下,避免逆向選擇。

● 實作概觀

● 首日架構:部署最佳化情緒分析解決方案所使用的初始設定與元件。

情緒分析的首日架構與重複內容處理

首日架構

● 新聞擷取:新聞串流 API 將資料饋送至 X-ray 儲存貯體,觸發 Lambda 函數依資產、急迫性及情緒進行分類。

● 中繼資料標記:Lambda 函數觸發 deepseek 模型,將中繼資料標記至 Aurora Prospects 及 OpenSearch 等資料庫。

● 使用者互動:QCLI 終端機讓交易員及分析師使用 Claude 等 LLM 查詢新聞來源中的特定資訊(例如 Trump 公告或 Elon Musk 推文的最新消息)。

● 加密貨幣新聞的重複內容挑戰

● 問題:同一則新聞在幾分鐘內於不同平台(Twitter、Reddit、Discord、Telegram)重複報導。

● 成本與延遲:使用昂貴的 LLM 處理每一則重複內容,會增加成本與延遲。

重複內容管線

步驟 1:嵌入

● 在 Lambda 中使用 VGEM3 等嵌入模型計算嵌入。

● 步驟 2:相似度檢查:

● 若相似度 > 0.75:標記為重複內容,並插入 OpenSearch 的重複內容集合,以免進行處理。

● 若相似度 < 0.5:可能是獨特內容;與 OpenSearch 的獨特內容集合比對,以檢查歷史新聞。

● 步驟 3:分析:

● 若確實為獨特內容,則執行近即時預測、擴大價差建議、資產影響評估及價格變動機率。

● 步驟 4:產生預測報告:

● 將報告傳送至交易員面板選定頻道,由人員決定要採取的行動。

微調嵌入

● 通用嵌入模型可能無法有效處理加密貨幣領域特有的重複內容。

● 微調的重要性:散佈圖顯示現成 BGEM3 在數千組加密貨幣新聞查詢文件配對上的效能。

微調嵌入與代理式架構

初始散佈圖

● 綠點:相似度分數高 (>0.75) 的重複新聞文章。

● 紅點:相似度分數低 (<0.5) 的非重複新聞文章。

● 模糊中間區(橘色):0.5 至 0.75 之間重疊,表示無法有效區分。

● 微調後的 BGEM3:

● 使用數千篇已標記的加密貨幣新聞文章微調後,綠點與紅點明確分離。

● 相似度分數 0.3 至 0.6 之間清楚分離,消除模糊中間區。

● 經微調、具有 560 百萬個參數的小型嵌入模型。

● 代理式架構與提示工程

● 不需要微調 LLM;提示工程就已足夠。

● 代理式架構的威力:

● 使用 Cock 等通用推理模型進行階層式任務分解。

● 專用嵌入層能以符合成本效益的方式更快取得上市成果。

● 透過架構消除偏差。

● 教導系統對新穎事件進行推理。

● 快速示範

● 交易員面板:右側顯示新聞頻道。

● 左側:由管線分析的串流新聞。

● 範例:

● SEC 申報文件:已進行分析,但因不會影響市場而未傳送給交易員。

● 例行新聞:分類為不具影響力。

● 具影響力的新聞:例如 Trump 發布關於中國日益敵對的推文,系統將其識別為具影響力並傳送給交易員,以決定是否調整價差。

● 重要重點

● 採用代理式架構而非微調。

● 使用通用推理模型進行階層式任務分解。

● 採用專用嵌入層,以符合成本效益並更快取得成果。

● 人機協作,運用交易員意見回饋迴圈持續改善系統。

● 在人員監督下提供 24/7 即時涵蓋。

數位資產造市商使用 AWS Macro Services 進行代理式新聞分析

免責聲明:所表達的觀點純屬個人意見,不代表 AWS 或相關組織的官方

立場。僅供參考,不構成財務或專業建議。

交易生態系統概觀

參與者:買方與賣方在交易所下單。 市場流動性:可能沒有足夠的流動性。 造市商的角色:確保持續存在買進與賣出委託,提供流動性及交易對手。

委託簿抽象表示

買進委託(左側):買方的委託。 賣出委託(右側):賣方的委託。 Y 軸:每個價位的累計數量。 價位:價格越高越靠近右側。

造市商的日常工作

掛出多筆買進與賣出委託。 風險管理:新聞或公告可能造成市場大幅波動。 庫存管理:對避免因市場突然變動而蒙受損失至關重要。

造市商的理想市場條件

可控波動性:市場小幅波動。 快速執行:快速執行買進與賣出委託。 高週轉率:儘管每筆交易利潤不高,高頻率交易仍可帶來可觀的整體利潤。


造市商策略與波動性因素

價差與利潤的權衡

● 擴大價差:造市商可能考慮擴大價差,以提高每筆交易的利潤。

● 權衡:價差較大可能導致成交次數減少,使整體利潤降低。

● 高頻交易:造市商通常選擇以較低利潤頻繁交易,使週轉率最大化。

波動性與價差調整

● 波動性影響:波動性是定價的關鍵因素;造市商會根據預期波動性調整價差。

● 事件驅動的波動性:例如 FOMC 會議對聯邦基金利率的影響。

● 快速分析與行動:造市商必須快速分析新聞並調整委託,以避免損失。

影響市場的事件範例

● FOMC 會議:發布時間及結果已知的可預測事件。

● 社群媒體影響:具影響力人物(例如 Trump、Elon Musk)的推文等不可預測事件,可能立即引發市場反應。

● Dogecoin 範例:Elon Musk 關於加密貨幣的推文可能造成價格快速變動。

這突顯了由社群媒體驅動之新聞的不可預測性與解讀難度。


數位資產市場情緒分析的挑戰

意見領袖對數位資產的影響

● 不可預測的特性:Elon Musk 等意見領袖的推文可能迅速影響加密貨幣價格。

● 解讀難度:推文通常具有主觀性,需要智慧解讀。

● 分析速度:人類判斷對即時交易而言過於緩慢;因此需要自動化解決方案。

情緒分析方法的演進

● 字典方法:最初使用產業詞彙(例如看跌、看漲)及模式比對的方法。

● 限制:詞彙有限且無法妥善處理內容脈絡(例如將「大規模空頭清算事件」誤解為負面)。

統計比對與機器學習

● 轉向使用 Naive Bayes 或 FinBERT 等模型的監督式學習。

● 優點:更佳的泛化能力與內容脈絡理解。

● 挑戰:需要大量已標記資料,導致成本高昂且上市時間較長。

對進階解決方案的需求

● 即時分析:需要快速、自動化的情緒分析,以跟上市場變動。

● 內容脈絡感知:解決方案必須正確解讀內容脈絡,才能提供可靠的情緒分析。


運用大型語言模型 (LLM) 推進情緒分析

以 Transformer 為基礎的多模態推理

● LLM、Clock 及 DeepSeek 等現代 LLM 只需少量微調,即可進行情境感知的情緒分析。

● 能夠針對特定新聞標題及特定領域事件(例如協定遭利用)進行推理。

推論效能最佳化

● 對時間窗口短暫的動態市場進行即時情緒分析至關重要。

最佳化歷程:

● 2025 年二月:最初使用 SageMaker Jumpstart 部署於 P5EN 執行個體,達到每秒 80 個輸出權杖。

● 2025 年四月:改用 VLLM,啟用多權杖預測、混合精度、線性注意力及分散式平行處理,將效能提升至每秒 140 個輸出權杖。

● 2025 年八月:以 SGLN 取代 VLLM,利用推測解碼達到每秒 180 個輸出權杖。

最佳化的重要性

● 高事件量:每分鐘有 10,000 個事件時,每一毫秒的推論延遲都會累積。

● 處理能力加倍:將每秒輸出權杖從 80 提高至 180,可在相同時間窗口內將新聞擷取處理量加倍。

● 端對端延遲:降至 10 秒以下,避免逆向選擇。

實作概觀

● 首日架構:部署最佳化情緒分析解決方案所使用的初始設定與元件。


情緒分析的首日架構與重複內容處理

首日架構

● 新聞擷取:新聞串流 API 將資料饋送至 X-ray 儲存貯體,觸發 Lambda 函數依資產、急迫性及情緒進行分類。

● 中繼資料標記:Lambda 函數觸發 deepse 模型,將中繼資料標記至 Aurora Prospects 及 OpenSearch 等資料庫。

● 使用者互動:QCLI 終端機讓交易員及分析師使用 Clock 等 LLM 查詢新聞來源中的特定資訊(例如 Trump 公告或 Elon Musk 推文的最新消息)。

加密貨幣新聞的重複內容挑戰

● 問題:同一則新聞在幾分鐘內於不同平台(Twitter、Reddit、Discord、Telegram)重複報導。

● 成本與延遲:使用昂貴的 LLM 處理每一則重複內容,會增加成本與延遲。

重複內容管線

● 步驟 1:嵌入

在 Lambda 中使用 VGEM3 等嵌入模型計算嵌入。

● 步驟 2:相似度檢查:

若相似度 > 0.75:標記為重複內容,並插入 OpenSearch 的重複內容集合,以免進行處理。 若相似度 < 0.5:可能是獨特內容;與 OpenSearch 的獨特內容集合比對,以檢查歷史新聞。

● 步驟 3:分析:

若確實為獨特內容,則執行近即時預測、擴大價差建議、資產影響評估及價格變動機率。

● 步驟 4:產生預測報告:

將報告傳送至交易員面板選定頻道,由人員決定要採取的行動。 微調嵌入

● 通用嵌入模型可能無法有效處理加密貨幣領域特有的重複內容。

● 微調的重要性:散佈圖顯示現成 BGEM3 在數千組加密貨幣新聞查詢文件配對上的效能。


🔧 微調嵌入與代理式架構

初始散佈圖:

● 綠點:相似度分數高 (>0.75) 的重複新聞文章。

● 紅點:相似度分數低 (<0.5) 的非重複新聞文章。

● 模糊中間區(橘色):0.5 至 0.75 之間重疊,表示無法有效區分。

微調後的 BGEM3:

● 使用數千篇已標記的加密貨幣新聞文章微調後,綠點與紅點明確分離。

● 相似度分數 0.3 至 0.6 之間清楚分離,消除模糊中間區。

● 經微調、具有 5.6 億個參數的小型嵌入模型。

代理式架構與提示工程

● 不需要微調 LLM;提示工程就已足夠。

代理式架構的威力:

● 使用 Cock 等通用推理模型進行階層式任務分解。

● 專用嵌入層能以符合成本效益的方式更快取得上市成果。

● 透過架構消除偏差。

● 教導系統對新穎事件進行推理。

快速示範

● 交易員面板:右側顯示新聞頻道。

● 左側:由管線分析的串流新聞。

● 範例:

SEC 申報文件:已進行分析,但因不會影響市場而未傳送給交易員。 例行新聞:分類為不具影響力。 具影響力的新聞:例如 Trump 發布關於中國日益敵對的推文,系統將其識別為具影響力並傳送給交易員,以決定是否調整價差。

重要重點

● 採用代理式架構而非微調。

● 使用通用推理模型進行階層式任務分解。

● 採用專用嵌入層,以符合成本效益並更快取得成果。

● 人機協作,運用交易員意見回饋迴圈持續改善系統。

● 在人員監督下提供 24/7 即時涵蓋。

AWS re:Invent 回顧 (GBL302)

使用 AWS Macro Services 進行代理式新聞分析的數位資產造市商

免責聲明:所表達的觀點純屬個人意見,不代表 AWS 或相關組織的官方立場。僅供參考,

不構成財務或專業建議。

交易生態系統概觀

參與者:買方與賣方在交易所下單。

● 市場流動性:可能沒有足夠的流動性。

● 造市商的角色:確保持續存在買進與賣出委託,提供流動性及交易對手。

委託簿抽象表示

● 買進委託(左側):買方的委託。

● 賣出委託(右側):賣方的委託。

● Y 軸:每個價位的累計數量。

● 價位:價格越高越靠近右側。

造市商的日常工作

● 掛出多筆買進與賣出委託。

● 風險管理:新聞或公告可能造成市場大幅波動。

● 庫存管理:對避免因市場突然變動而蒙受損失至關重要。

造市商的理想市場條件

● 可控波動性:市場小幅波動。

● 快速執行:快速執行買進與賣出委託。

● 高週轉率:儘管每筆交易利潤不高,高頻率交易仍可帶來可觀的整體利潤。

造市商策略與波動性因素

價差與利潤的權衡

● 擴大價差:造市商可能考慮擴大價差,以提高每筆交易的利潤。

● 權衡:價差較大可能導致成交次數減少,使整體利潤降低。

● 高頻交易:造市商通常選擇以較低利潤頻繁交易,使週轉率最大化。

波動性與價差調整

● 波動性影響:波動性是定價的關鍵因素;造市商會根據預期波動性調整價差。

● 事件驅動的波動性:例如 FOMC 會議對聯邦基金利率的影響。

● 快速分析與行動:造市商必須快速分析新聞並調整委託,以避免損失。

影響市場的事件範例

● FOMC 會議:發布時間及結果已知的可預測事件。

● 社群媒體影響:具影響力人物(例如 Trump、Elon Musk)的推文等不可預測事件,可能立即引發市場反應。

● Dogecoin 範例:Elon Musk 關於加密貨幣的推文可能造成價格快速變動,突顯由社群媒體驅動之新聞的不可預測性與解讀難度。

數位資產市場情緒分析的挑戰

意見領袖對數位資產的影響

● 不可預測的特性:Elon Musk 等意見領袖的推文可能迅速影響加密貨幣價格。

● 解讀難度:推文通常具有主觀性,需要智慧解讀。

● 分析速度:人類判斷對即時交易而言過於緩慢;因此需要自動化解決方案。

情緒分析方法的演進

● 字典方法:最初使用產業詞彙(例如看跌、看漲)及模式比對的方法。

● 限制:詞彙有限且無法妥善處理內容脈絡(例如將「大規模空頭清算事件」誤解為負面)。

統計比對與機器學習

● 轉向使用 Naive Bayes 或 FinBERT 等模型的監督式學習。

● 優點:更佳的泛化能力與內容脈絡理解。

● 挑戰:需要大量已標記資料,導致成本高昂且上市時間較長。

對進階解決方案的需求

● 即時分析:需要快速、自動化的情緒分析,以跟上市場變動。

● 內容脈絡感知:解決方案必須正確解讀內容脈絡,才能提供可靠的情緒分析。

運用大型語言模型 (LLM) 推進情緒分析

以 Transformer 為基礎的多模態推理

● LLM、Clock 及 DeepSeek 等現代 LLM 只需少量微調,即可進行情境感知的情緒分析。

● 能夠針對特定新聞標題及特定領域事件(例如協定遭利用)進行推理。

推論效能最佳化

● 對時間窗口短暫的動態市場進行即時情緒分析至關重要。

最佳化歷程:

● 2025 年二月:使用 SageMaker Jumpstart 在 P5EN 執行個體上進行初始部署,達到每秒 80 個輸出權杖。

● 2025 年四月:改用 VLLM,啟用多權杖預測、混合精度、線性注意力及分散式平行處理,將效能提升至每秒 140 個輸出權杖。

● 2025 年八月:以 SGLN 取代 VLLM,利用推測解碼達到每秒 180 個輸出權杖。

最佳化的重要性

● 高事件量:每分鐘有 10,000 個事件時,每一毫秒的推論延遲都會累積。

● 處理能力加倍:將每秒輸出權杖從 80 提高至 180,可在相同時間窗口內將新聞擷取處理量加倍。

● 端對端延遲:降至 10 秒以下,避免逆向選擇。

實作概觀

● 首日架構:部署最佳化情緒分析解決方案所使用的初始設定與元件。

● 📡 情緒分析的首日架構與重複內容處理

首日架構

● 新聞擷取:新聞串流 API 將資料傳輸至 X-ray 儲存貯體,觸發 Lambda 函數依資產、急迫性及情緒進行分類。

● 中繼資料標記:Lambda 函數觸發 deepse 模型,將中繼資料標記至 Aurora Prospects 及 OpenSearch 等資料庫。

● 使用者互動:QCLI 終端機讓交易員及分析師使用 Clock 等 LLM 查詢新聞來源中的特定資訊。

(例如 Trump 公告或 Elon Musk 推文的最新消息)。

加密貨幣新聞的重複內容挑戰

● 問題:同一則新聞在幾分鐘內於不同平台(Twitter、Reddit、Discord、Telegram)重複報導。

● 成本與延遲:使用昂貴的 LLM 處理每一則重複內容,會增加成本與延遲。

重複內容管線

● 步驟 1:嵌入

在 Lambda 中使用 VGEM3 等嵌入模型計算嵌入。

● 步驟 2:相似度檢查:

若相似度 > 0.75:標記為重複內容,並插入 OpenSearch 的重複內容集合,以免進行處理。 若相似度 < 0.5:可能是獨特內容;與 OpenSearch 的獨特內容集合比對,以檢查歷史新聞。

● 步驟 3:分析:

若確實為獨特內容,則執行近即時預測、擴大價差建議、資產影響評估及價格變動機率。

● 步驟 4:產生預測報告:

將報告傳送至交易員面板選定頻道,由人員決定要採取的行動。 微調嵌入

● 通用嵌入模型可能無法有效處理加密貨幣領域特有的重複內容。

● 微調的重要性:散佈圖顯示現成 BGEM3 在數千組加密貨幣新聞查詢文件配對上的效能。

微調嵌入與代理式架構

初始散佈圖:

● 綠點:相似度分數高 (> 0.75) 的重複新聞文章。

● 紅點:相似度分數低 (< 0.5) 的非重複新聞文章。

● 模糊中間區(橘色):0.5 至 0.75 之間重疊,表示無法有效區分。

微調後的 BGEM3:

● 使用數千篇已標記的加密貨幣新聞文章微調後,綠點與紅點明確分離。

● 相似度分數 0.3 至 0.6 之間清楚分離,消除模糊中間區。

● 經微調、具有 5.6 億個參數的小型嵌入模型。

代理式架構與提示工程

● 不需要微調 LLM;提示工程就已足夠。

代理式架構的威力:

● 使用 Cock 等通用推理模型進行階層式任務分解。

● 專用嵌入層能以符合成本效益的方式更快取得上市成果。

● 透過架構消除偏差。

● 教導系統對新穎事件進行推理。

快速示範

● 交易員面板:右側顯示新聞頻道。

● 左側:由管線分析的串流新聞。

● 範例:

SEC 申報文件:已進行分析,但因不會影響市場而未傳送給交易員。 例行新聞:分類為不具影響力。 具影響力的新聞:例如 Trump 發布關於中國日益敵對的推文,系統將其識別為具影響力並傳送給交易員,以決定是否調整價差。

重要重點

● 採用代理式架構而非微調。

● 使用通用推理模型進行階層式任務分解。

● 採用專用嵌入層,以符合成本效益並更快取得成果。

● 人機協作,運用交易員意見回饋迴圈持續改善系統。

● 在人員監督下提供 24/7 即時涵蓋。