Vertex Macro｜Financial Cloud Cloud · AWS Re:cap
AWS Re:cap 01: Coinbase re:Invent の要約 (IND3312)
ビデオ: https://www.youtube.com/watch?v=IkK6dSsC5fU
会話によるサポート、コンプライアンス、生産性の拡大
金融サービスにおける AI 世代の開発の概要
2023: LLM の導入
● 顧客および企業アプリケーション向けの LLM が市場に参入し始めました。
● 当初はデータの信頼性とセキュリティに重点を置きました。
● データの安全性と有用性に関する疑問が生じました。
● ビジネスにとっての検索拡張生成 (RAG) の重要性。
● FSI の顧客は貴重なデータを持っていましたが、安全に利用できるかどうか不安でした。
カスタマーサポートチャットボット
● 50% を超える顧客がサポート チャネルとしてチャットを好みます。
● Coinbase の広範な知識ベースでトレーニングを受けています。
● 市場の変動に適応して、24 時間体制で即時かつ正確な支援を提供します。
FAQ スタイル RAG 応答
● 一般的なクエリ (サインインの問題、2 要素認証など) を自動化するためのシンプルな FAQ-style 応答。
● 精度を重視して強固な基盤を構築します。
Cohereの再ランクモデルは検索の関連性を強化します
● 最初の検索結果を意味的に並べ替えます
● キーワードを超えてクエリ文書のコンテキストを理解する
● 100 以上の言語をサポート
● JSON やコードなどの複雑なデータを処理します
● 検索拡張生成 (RAG) システムの改善
● エンタープライズ検索の精度が向上します
● より高速なユーザーエクスペリエンスを提供します
● 検索パイプラインの強力な第 2 ステージとして機能します。
● キーワードまたはベクトル検索の結果を深い関連性スコアで並べ替えます 主な機能
● Rerank-v3.5: 最先端のパフォーマンス、強化された推論、および広範なデータ互換性 (テキスト、JSON、コード)。
● Rerank-english-v3.0: 英語のドキュメントと半構造化データ。
● Rerank-multilingual-v3.0: 英語以外のコンテンツの場合、100 以上の言語をサポートします。
● 再ランク 3 Nimble: 電子商取引検索などの大量のユースケースの効率と待ち時間の短縮を優先し、コンバージョン率を向上させます。
クロスエンコーダアーキテクチャ
● すべてのトークン間のクロスアテンション メカニズムを使用してそれらの関連性を判断し、2 つの入力 (クエリとドキュメントなど) を 1 つのシーケンスで共同処理するモデル。
● 主な特徴
● ジョイント加工
● クロスアテンション
● 単一出力
● 第 1 段階 (バイエンコーダー)
● 2段目（クロスエンコーダ）
コンプライアンスプロセス
● KYC、KYB、および TMS の実装。
● 人材への依存度が高く、徹底した調査が行われます。
● 詳細な説明可能性と、各国にわたる多様な規制要件への適応性の必要性。
● コンプライアンス戦略
● MCP インターフェイスを介して LLM およびデータにアクセスするための内部プラットフォームの活用。
● AnyScale ベースの ML プラットフォーム上に構築された、高リスクのコンプライアンス ケースを検出するための従来の機械学習モデルが組み込まれています。
レイを活用したスケーラビリティ
● Ray クラスターを最適化および管理します。
● 数千の CPU と GPU にわたる効率的な分散とスケーリング。
● 大規模なデータセットと複雑なモデルを処理します。
● レイ AI ライブラリ
● レイ データ: スケーラブルなデータ処理用。特に画像、オーディオ、ビデオなどの非構造化データに適しています。
● Ray Train: PyTorch、PyTorch Lightning、Hugging Face Transformers などのフレームワークを統合した分散モデル トレーニング用。
● Ray Tune: スケーラブルでフォールトトレラントなハイパーパラメータ調整と実験実行のためのフレームワーク。
● Ray Serve: 機械学習モデルを、低遅延でスケーラブルでプログラム可能な API としてデプロイおよび提供します。
● RLlib: 強化学習用の業界グレードのライブラリで、ロボット工学から金融まで幅広いアプリケーションをサポートします。
コンプライアンス自動解決エンジン (CAR)
● ソリューションの中心となり、総合的なレビュー プロセスのオーケストレーターとして機能します。
● エージェントの AI- 主導のワークフローで自動化と人間の専門知識の両方を活用します。
● 人間参加型プロセス
● 2 人の人間のペルソナとのインタラクション:
● コンプライアンス運用エージェント: AI システムの調査結果を確認し、改善のためのフィードバックを提供します。
● エンドカスタマー: 必要に応じて追加情報をお問い合わせください。
Coinbase re:Invent の要約 (IND3312)
Coinbase での会話型 AI によるサポート、コンプライアンス、生産性の拡張
カスタマーサポートチャットボット
● 50% を超える顧客がサポート チャネルとしてチャットを好みます。
● Coinbase の広範な知識ベースでトレーニングを受けています。
● 市場の変動に適応して、24 時間体制で即時かつ正確な支援を提供します。
FAQ スタイル RAG 応答
● 一般的なクエリ (サインインの問題、2 要素など) を自動化するシンプルな AAA スタイルの応答
● 強力な認証基盤を構築するために精度に重点を置きます)。
Cohereの再ランクモデルは検索の関連性を強化します
● 最初の検索結果を意味的に並べ替えます
● キーワードを超えてクエリ文書のコンテキストを理解する
● 100 以上の言語をサポート
● JSON やコードなどの複雑なデータを処理します
● 検索拡張生成 (RAG) システムの改善
● エンタープライズ検索の精度が向上します
● より高速なユーザーエクスペリエンスを提供します
● 検索パイプラインの強力な第 2 ステージとして機能します。
● キーワードまたはベクトル検索の結果を深い関連性スコアで並べ替えます
Cohereの再ランクモデルの主な特徴
● Rerank-v3.5: 最先端のパフォーマンス、強化された推論、および広範なデータ
● Rerank-english-v3.0: 英語のドキュメントと半構造化データ。互換性 (テキスト、JSON、コード)。
● Rerank-multilingual-v3.0: 英語以外のコンテンツの場合、100 以上の言語をサポートします。- Rerank 3 Nimble: 電子商取引検索などの大量のユースケースの効率と待ち時間の短縮を優先し、コンバージョン率を向上させます。
クロスエンコーダアーキテクチャ
2 つの入力 (クエリとドキュメントなど) を 1 つの処理で共同処理するモデル
すべてのトークン間のクロスアテンション メカニズムを使用して、それらの関連性を判断します。
主な特徴
● ジョイント加工
● クロスアテンション
● 単一出力
● 第 1 段階 (バイエンコーダー)
● 2段目（クロスエンコーダ）
コンプライアンスプロセス
● KYC、KYB、および TMS の実装。
● 人材への依存度が高く、徹底した調査が行われます。
● 詳細な説明可能性と、さまざまな規制要件への適応性の必要性
国々。
🛠コンプライアンス戦略
● MCP インターフェイスを介して LLM およびデータにアクセスするための内部プラットフォームの活用。
● 高リスクのコンプライアンスケースを検出するための従来の機械学習モデルを組み込み、構築
AnyScale ベースの ML プラットフォーム上で。
レイを活用したスケーラビリティ
● Ray クラスターを最適化および管理します。
● 数千の CPU と GPU にわたる効率的な分散とスケーリング。
● 大規模なデータセットと複雑なモデルを処理します。
レイ AI ライブラリ
● レイ データ: スケーラブルなデータ処理、特に画像などの非構造化データに適しています。
● Ray Train: PyTorch などのフレームワークとの統合による分散モデル トレーニング用。
オーディオとビデオ。
● Ray Tune: スケーラブルでフォールトトレラントなハイパーパラメータ調整および
PyTorch ライトニング、ハグ フェイス トランスフォーマー。
● Ray Serve: スケーラブルでプログラム可能な機械学習モデルをデプロイおよび提供します。
実験の実行。
● RLlib: 強化学習用の業界グレードのライブラリであり、幅広い機能をサポートしています。
待ち時間が短い API。
ロボット工学から金融までのアプリケーション。
コンプライアンス自動解決エンジン (CAR)
● ソリューションの中心となり、総合的なレビュー プロセスのオーケストレーターとして機能します。
● エージェントの AI- 主導のワークフローで自動化と人間の専門知識の両方を活用します。
人間参加型プロセス
2 人の人間のペルソナとの相互作用
● コンプライアンス運用エージェント: AI システムの調査結果を確認し、フィードバックを提供します。
● エンド顧客: 改善が必要な場合は、追加情報を入手してください。
Coinbase re:Invent の要約 (IND3312)
会話型 AI によるサポート、コンプライアンス、生産性の拡張
カスタマーサポートチャットボット
● 50% を超える顧客がサポート チャネルとしてチャットを好みます。
● Coinbase の広範な知識ベースでトレーニングを受けています。
● 市場の変動に適応しながら、24 時間体制で即時かつ正確な支援を提供します。
FAQ-スタイル RAG 応答
● シンプルな FAQ-style 応答により、サインインの問題や 2 要素認証などの一般的なクエリが自動化されます。
● 精度を重視して強固な基盤を構築します。
Cohereの再ランクモデルにより検索の関連性が向上
● 最初の検索結果を意味的に並べ替えます。
● キーワードを超えてクエリ文書のコンテキストを理解します。
● 100 を超える言語をサポートします。
● JSON やコードなどの複雑なデータを処理します。
● 検索拡張生成 (RAG) システムを改善します。
● エンタープライズ検索の精度が向上します。
● より高速なユーザー エクスペリエンスを提供します。
● 検索パイプラインの強力な第 2 ステージとして機能します。
● キーワードまたはベクトルの検索結果を深い関連性スコアで並べ替えます。
Cohereの再ランクモデルの主な特徴
● Rerank-v3.5: 最先端のパフォーマンス、強化された推論、テキスト、JSON、およびコードにわたる広範なデータ互換性。
● Rerank-english-v3.0: 英語のドキュメントと半構造化データ用。
● Rerank-multilingual-v3.0: 英語以外のコンテンツの場合、100 を超える言語をサポートします。
● 再ランク 3 Nimble: 電子商取引検索などの大量のユースケースの効率と待ち時間の短縮を優先し、コンバージョン率を向上させます。
クロスエンコーダーアーキテクチャ
クエリとドキュメントなどの 2 つの入力を 1 つのシーケンスで共同処理し、すべてのトークンにわたってクロスアテンションを使用してそれらの関連性を判断するモデル。
主な特徴
● ジョイント加工
● クロスアテンション
● 単一出力
● 初段（バイエンコーダー）
● 2段目（クロスエンコーダ）
コンプライアンスプロセス
● KYC、KYB、および TMS を実装します。
● 人的リソースと徹底した調査に大きく依存します。
● 詳細な説明能力と、各国のさまざまな規制要件に適応する能力が必要です。
🛠 コンプライアンス戦略
● 内部プラットフォームを使用して、MCP インターフェイス経由で LLM とデータにアクセスします。
● 高リスクのコンプライアンスケースを検出するために、AnyScale ベースの ML プラットフォーム上に構築された従来の機械学習モデルが含まれています。
レイを活用したスケーラビリティ
● Ray クラスターを最適化および管理します。
● ワークロードを数千の CPU と GPU に効率的に分散し、スケーリングします。
● 大規模なデータセットと複雑なモデルを処理します。
レイ AI ライブラリ
● レイ データ: スケーラブルなデータ処理、特に画像、音声、ビデオなどの非構造化データ用。
● Ray Train: PyTorch、PyTorch Lightning、Hugging Face Transformers、およびその他のフレームワークを統合した分散モデル トレーニング用。
● Ray Tune: ハイパーパラメータ調整と実験実行のためのスケーラブルでフォールトトレラントなフレームワーク。
● Ray Serve: 機械学習モデルを、スケーラブルでプログラム可能な低遅延 API としてデプロイし、提供します。
● RLlib: ロボット工学から金融までのアプリケーションをサポートする業界グレードの強化学習ライブラリ。
コンプライアンス自動解決エンジン (CAR)
● ソリューションの中心となり、総合的なレビュー プロセスのオーケストレーターとして機能します。
● エージェントの AI- 主導のワークフローで自動化と人間の専門知識を活用します。
👥 人間参加型プロセス
2 つの人間の役割との相互作用
● コンプライアンス運用エージェント: AI システムの調査結果を確認し、改善のためのフィードバックを提供します。
● 最終顧客: 必要に応じて追加情報について連絡されます。
2024: 導入と拡張
● 安全なデータアクセスと管理のための Amazon Bedrock およびその他のソリューションのリリース。
● 顧客は、カスタマー サポートなどの主要な分野で AI を使用し始めました。
● 焦点は規模、容量、きめ細かいセキュリティに移りました。
● 将来の成長に向けて、適切に設計されたフレームワークを AI に適用することを検討。
● 2025: 高度な AI アプリケーション
● マルチエージェント自律アプリケーションの出現。
● 顧客は中核となる業務と部門の変革を目指しています。
● 測定可能な影響とビジネス KPI を重視します。
● 単一のツールから、顧客と従業員のワークフローに革命をもたらすへと移行します。
AWS AI 世代向けのサービス
AWS 製品
● 迅速な導入のための事前構築されたエージェント。
● オープンソース ツールの実験。
● カスタム エージェントを構築します。
● モデル、ツール、インフラストラクチャ、専門知識の提供。
● AI インフラストラクチャとツール
● 堅牢な AI インフラストラクチャ、カスタム シリコン、およびデータ基盤ツール。
● 安全で回復力があり、グローバルに拡張されたインフラストラクチャにおける数十年の経験。
● データプライバシー、アクセス管理、監視、可観測性のための高度な制御。
● AWS 変換
● レガシーワークロードの最新化の自動化 (.NET フレームワーク、VMware など)。
● Amazon Connect のエージェントとマーケットプレイスのツール。
● AI のインターフェイス、プロトコル、セキュリティ、ネットワーク拡張への投資。
アマゾンの岩盤
サービス概要
● Gen AI アプリケーションを構築、デプロイ、運用するためのフルマネージド サービス。
● 単一の API 経由で主要な基盤モデル (Anthropic、Meta、Mistral、Amazon) にアクセスします。
● 新しいモデルを継続的に追加。
● カスタマイズと安全性
● データを使用してモデルとアプリケーションをプライベートにカスタマイズするためのツール。
● 安全ガードレールの適用、コストの最適化、待ち時間の短縮。
● 迅速な反復機能。
● エージェントコア:
● 安全でスケーラブルなエージェントの導入と運用のためのサービスのセット。
● サーバーレスの性質により、インフラストラクチャ管理の必要がなくなります。
エージェントの導入における課題
ガートナーの予測
● 40% を超えるエージェント AI プロジェクトが 2027.
● によってキャンセルされると予測されています
● 理由: 増大するコスト、不透明なビジネス価値、不十分なセキュリティ。
● 主要な課題
● 特殊なランタイム: 一般的なアプリケーションとは異なり、ランタイム環境が必要です。
● ステートレス LLM: エージェントはコンテキストを保持し、パーソナライズされたエクスペリエンスを提供するためにメモリを必要とします。
● 細かくトレーニングされた ID: エージェントが適切なシステムとデータにのみアクセスできるようにするアクセス制御。
● カスタム ツールの対話: AI エージェントが適切な ID 制御を使用してカスタム ツールおよびデータ ソースを検出し、対話できるようにします。
自律的な複数ステップのワークフロー
● エージェントが複雑な複数ステップのワークフローを独立して実行する必要がある。
● 共有または制限されたワークフロー内の共通ツールの要件。
● 特化した監視
● エージェント AI 専用に設計された監視システムの必要性。
● エージェントのプロトタイピングと運用展開の違い。
Amazon Bedrock AgentCore
モジュール式の高速反復アプローチ
● スケーラブルな実稼働エージェントを構築するために設計されています。
● エージェントコアランタイム
● 動的エージェントとツールのデプロイとスケーリングのための安全なサーバーレス ランタイム。
● さまざまなフレームワーク、プロトコル、モデルの選択をサポートします。
● マルチモーダル、リアルタイム、長時間実行エージェントの信頼性の高い実行 (最大 8 時間)。
● 中断や障害を適切に処理するためのチェックポイント機能とリカバリ機能を備えています。
● エージェント コア ゲートウェイ
● MCP サーバーおよび API とエージェントの統合を促進します。
● エージェントにさまざまなツールを提供します。
● エージェントコアブラウザとコードインタープリタ
● エージェントがブラウザ内で自律的に動作したり、指定された条件やルールに基づいてコードを実行したりできるようにします。
サポートツール
エージェントコアアイデンティティ
● セキュリティおよびアイデンティティ機能を備えたエンタープライズ対応の AI エージェントを構築します。
● 標準ベースの認証、既存の ID プロバイダーとの互換性、OAuth サポートが含まれます。
● スムーズなユーザー エクスペリエンスを実現する安全なトークン ボールトを備えています。
● エージェントコアメモリ
● エージェントが複雑なワークフローの短期および長期メモリを保存および取得できるようにします。
● 共有メモリ内のユーザー入力と履歴の継続的な使用を容易にします。
● 可観測性
● Gen AI の可観測性スタックを一元化し、ログ、トレース、メトリックを組み合わせます。
● 大規模なパフォーマンスと精度を測定します。
Coinbase による生成 AI の使用
暗号と経済的自由
● 暗号通貨は経済的自由と世界経済への公正な参加を可能にします。
● Coinbase の使命は、10 億人以上の人々に経済的自由を拡大することです。
● Coinbase の主要な柱
● 信頼の構築
● 最高レベルのセキュリティでユーザーの資産を保護します。
● 詐欺やアカウント乗っ取りに対する強力な保護を実装します。
● 暗号をアクセスしやすくする
● AI と機械学習を使用して、直感的でパーソナライズされたエクスペリエンスを設計します。
● 複雑な金融商品を簡素化します。
● グローバルなスケーリング
● 効率的かつ迅速に運用して、100+ 諸国の何百万ものユーザーをサポートします。
● 数十億ドルの取引量を管理。
ユーザージャーニーと ML アプリケーション
ログインセキュリティ
● ML モデルは、ユーザーのログイン中のアカウント乗っ取りを防ぎます。
● 法定通貨から仮想通貨への変換
● ML モデルは、仮想通貨取引所に通貨を移動する際のユーザーの正当性と信用不履行のリスクを評価します。
● ブロックチェーンへの資金移動
● ML モデルは、ブロックチェーンに資金を放出する前に反転のリスクを評価します。
● ユーザーエクスペリエンスのパーソナライゼーション
● ML-強力なパーソナライゼーション
● パーソナライズされた検索結果、カスタマイズされたニュースフィード、直感的な推奨事項、およびリアルタイムの価格アラート。
● 大規模なデータセットでトレーニングされた高度な深層学習モデルの使用。
● 適応型リスクスコアリングシステム
● ブロックチェーン アドレスをスコアリングするためにグラフ ニューラル ネットワークを使用して構築されています。
● 悪意のあるブロックチェーン アドレスを検出してブロックし、顧客を保護します。
● ERC20 詐欺トークンの検出
● スマート コントラクトの監査と機械学習を組み合わせます。
● 取引所に上場する前に資産をレビューし、追加の顧客保護を提供します。
予測機械学習モデル
仮想通貨市場のボラティリティ
● 暗号市場は非常に不安定であるため、信頼できるインフラストラクチャが必要です。
● 予測モデル
● サージが発生する前にバックエンド データベースをスケーリングするために使用され、市場の変動時に信頼性の高いパフォーマンスを確保します。
新世代の AI 投資
大規模言語モデル (LLM)
● AI の歴史的瞬間を示す 11 月 2022, 以来の変革的な影響。
● 主要な応用分野
● カスタマーサポート: 強力な仮想アシスタントと人間のエージェント向けの高度なツール。
● コンプライアンス: Generative AI (GenAI) は、複雑な調査を合理化し、規制状況をナビゲートします。
● 開発者の生産性: Coinbase での開発者の生産性を向上させます。
● 暗号通貨カスタマーサポートの課題
● 変動性: ユーザーのアクティビティは 1 か月以内に最大 50% 変動する可能性があるため、スケーラブルなサポート システムが必要です。
● 信頼: 市場の状況に関係なく、顧客は安心感とサポートを感じる必要があります。
● グローバル オペレーション: さまざまな言語、規制、期待を超えてユーザーをサポートします。
GenAI戦略
● 標準インターフェイス (OpenAI API 標準およびモデル コンテキスト プロトコル) を介して複数の LLM とデータ ソースを統合する内部 GenAI プラットフォーム。
● 深さ
● カスタマー サポート内の影響の大きい分野に的を絞った投資:
● 会話型チャットボットを使用して顧客対応のワークフローを自動化します。
● 人間のサポート エージェントにインテリジェント ツールを提供して、効率を向上させます。
● サポート チケットから貴重な洞察を抽出し、製品とサービスを継続的に改善します。
● 使用例
● 顧客はサポートを必要とし、GenAI によって強化されたサポート インタラクションのサイクルを開始します。
カスタマーサポートチャットボット
● 50% を超える顧客がサポート チャネルとしてチャットを好みます。
● Coinbase の広範な知識ベースでトレーニングを受けています。
● 市場の変動に適応して、24 時間体制で即時かつ正確な支援を提供します。
チャットボットの開発
FAQ スタイル RAG 応答
● 一般的なクエリ (サインインの問題、2 要素認証など) を自動化するためのシンプルな FAQ-style 応答。
● 精度を重視して強固な基盤を構築します。
エージェントのアーキテクチャ
ユーザー入力と会話履歴
● メモリ層として機能するベクトル データベースに保存されます。
● RAG レトリーバー
● Bedrock ナレッジ ベースを使用して、Coinbase ヘルプ記事をベクトル化して保存します。
● Cohere のリランク モデルを採用し、取得された記事の精度を高めます。
● 応答の生成
● Bedrock を通じて提供されるクラウド モデルを含む、LLM の混合。
● 正確な応答生成のために、アクタークリティカル アーキテクチャで開発されたサブエージェントが含まれます。
● ガードレール
● Bedrock ガードレールを利用した入力および出力ガードレール。
● 有害なコンテンツや機密性の高い PII 漏洩から保護します。
● プロンプト インジェクションを最小限に抑えるためのカスタム ドメイン固有のフィルター。
● 応答を根拠のあるものに保ち、幻覚を軽減するためのカスタム ルール。
開発の次の層
● 業界と LLM の能力の進化
● 初期の RAG 層以上のレベルを達成する必要性の認識。
Cohereの再ランクモデルは検索の関連性を強化します
● 最初の検索結果を意味的に並べ替えます
● キーワードを超えてクエリ文書のコンテキストを理解する
● 100 以上の言語をサポート
● JSON やコードなどの複雑なデータを処理します
● 検索拡張生成 (RAG) システムの改善
● エンタープライズ検索の精度が向上します
● より高速なユーザーエクスペリエンスを提供します
● 検索パイプラインの強力な第 2 ステージとして機能します。
● キーワードまたはベクトル検索の結果を深い関連性スコアで並べ替えます 主な機能とモデル
● Rerank-v3.5: 最先端のパフォーマンス、強化された推論、および広範なデータ互換性 (テキスト、JSON、コード)。
● Rerank-english-v3.0: 英語のドキュメントと半構造化データ。
● Rerank-multilingual-v3.0: 英語以外のコンテンツの場合、100 以上の言語をサポートします。
● 再ランク 3 Nimble: 電子商取引検索などの大量のユースケースの効率と待ち時間の短縮を優先し、コンバージョン率を向上させます。
● 仕組み
● 入力: ユーザー クエリとドキュメントの初期リスト (Elasticsearch などのキーワード検索やベクトル検索から)。
● 処理: Rerank モデルは、クロスエンコーダー アーキテクチャを使用して、クエリと各ドキュメントを共同処理して、それらの意味関係を理解します。
● 出力: ドキュメントの順序付きリスト。それぞれに関連性スコアが割り当てられ、文脈的に最も関連性の高い結果が先頭に表示されます。
● 使用例と利点
● 強化されたエンタープライズ検索: 複雑な内部データ (請求書、コード) から関連性の高い情報を表示します。
● RAG システムの改善: LLM に最も適切なスニペットを提供することで、事実に基づく根拠を確保します。
● 多言語アプリケーション: さまざまな言語にわたるセマンティック検索。
● コストと複雑さの削減: 単一の API 呼び出しを通じて既存の検索スタック (Elasticsearch など) と簡単に統合し、完全な見直しを行わずにセマンティックな機能を追加します。
クロスエンコーダアーキテクチャ
● すべてのトークン間のクロスアテンション メカニズムを使用してそれらの関連性を判断し、2 つの入力 (クエリとドキュメントなど) を 1 つのシーケンスで共同処理するモデル。
● 主な特徴
● 結合処理: 中心的な機能は、クエリと候補ドキュメントが特別なトークンで区切られた単一の入力シーケンスに連結されることです。
● クロスアテンション: トランスフォーマー層内では、モデルのセルフアテンション メカニズムにより、クエリ内のすべてのトークンとドキュメント内のすべてのトークンを直接比較できます。このきめの細かい相互作用により、それらの関係と意味上の関連性を深く、微妙に理解することができます。
● 単一出力: モデルは通常、ペアの単一の関連性スコア (例: 0.0 と 1.0 の間の数値) を出力し、多くの場合、分類層を通過したトークンからの埋め込みを使用します。
● 最新の AI システムにおける役割:
● これらは主に、2 段階の取得プロセス、特に取得拡張生成 (RAG) システムでの再ランカーとしてデプロイされます。
● 第 1 段階 (バイエンコーダー): 高速で効率的なバイエンコーダー モデルは、膨大な文書のコーパスを、関連する可能性のある候補のより小さく管理可能なリスト (例: 上位 100) にすばやく絞り込みます。
● 第 2 段階 (クロスエンコーダー): 次に、クロスエンコーダーは、この小さな候補のサブセットを高精度で細心の注意を払って再評価および再ランク付けし、最も正確で状況に応じて適切な結果が、応答を生成する最終 LLM に確実に提示されるようにします。
業務手順層
● 強化されたチャットボット機能
● LLM の機能が向上するにつれて、チャットボットはビジネス手順に自律的に従うように強化されました。
● 会話形式で情報を収集し、ユーザーに代わって直接アクションを実行します。
● ビジネス手順は、人間と AI エージェントの両方が使用する単一の信頼情報源として機能します。
● ユーザーアカウントと保留中のトランザクションに関するクエリを自動化します。
エージェントのアーキテクチャ
● ビジネスプロシージャ分類子の導入。
● 特定のビジネス手順をエミュレートする正しいサブエージェントにクエリをルーティングします。
● RAG エージェントは、RAG 知識ベースに関連する手順を実行する特殊なサブエージェントとして機能します。
プロアクティブな問題解決層 (予測機能)
● AI エージェントは、ユーザー シグナルとプラットフォーム上のアクティブなインシデントを使用して、一般的なユーザーの問題を予測します。
● プロアクティブな問題解決レイヤーがエージェント設計に追加されました。
● プロアクティブな解決策が見つからない場合、プロアクティブなエージェントはビジネス プロシージャ分類子にフォールバックします。
● 標準化された MCP サーバーを介したプロアクティブ エージェントのデータ アクセス。
主要な設計原則
モデルの選択
● 精度、レイテンシー、スケーラビリティを考慮したバランスの取れたアプローチ。
● モデルの機能が進化するにつれて継続的に再評価。
● ツールの標準化
● モデル コンテキスト プロトコル (MCP) を介したツール アクセスの標準化。
● 顧客サポートおよびその他の領域のための強力な基盤。
● ビジネスへの適応性
● 人間と AI の両方を支援するビジネス手順の信頼できる唯一の情報源。
● ビジネス適応性の向上。
● グラウンディングされた応答
● 回答における事実の正確さを重視します。
モニタリングと評価
● LLM 審査員としての評価
● 関連性、正確性、潜在的な偏見、幻覚などについてチャットボットの応答を評価します。
● 品質指標と傾向をアクティブに追跡し、異常を迅速に特定します。
エージェント支援ツール
目的
● 人間のカスタマー サポート エージェントが複雑な問題に対処できるように設計されています。
● 顧客の問題を診断して軽減するためのリアルタイムの支援を提供します。
● 特徴
● アカウントのシグナル、進行中のインシデント データ、および過去のカスタマー サポート チケットから抽出されます。
● パーソナライズされたガイダンスを提供し、複数の言語で正確な応答を生成します。
● インパクト
● 解決の迅速化、顧客の満足度の向上、サポート チームの効率の向上。
● 65% に近い顧客連絡は、AI システムによって自動的に処理されます。
● 年間約 500 万時間の従業員の作業時間と、大幅なコストを削減。
● 自動化されたケースの 65% は 1 回の対話で解決され、ユーザー エクスペリエンスが向上します。
コンプライアンスの重要性
● Coinbase のようなフィンテック企業が AML/CFT (マネーロンダリング防止/テロ資金供与対策) の基準を遵守することが重要です。
● プラットフォーム上での不正行為の防止への取り組み。
● コンプライアンスプロセス
● KYC、KYB、および TMS の実装。
● 人材への依存度が高く、徹底した調査が行われます。
● 詳細な説明可能性と、各国にわたる多様な規制要件への適応性の必要性。
● コンプライアンスへの戦略
● MCP インターフェイスを介して LLM およびデータにアクセスするための内部プラットフォームの活用。
● AnyScale ベースの ML プラットフォーム上に構築された、高リスクのコンプライアンス ケースを検出するための従来の機械学習モデルが組み込まれています。
● 深さ
● KYC、KYB、TMS の高リスクケースを検出するための高度な深層学習モデル。
● AI による複雑な調査の自動化と高速化。
● コンプライアンス ワークフロー全体にわたる厳密な調査のために、さまざまなソースからデータを収集および合成します。
コンプライアンス支援ツール
目的
● カスタマー サポート エージェント支援ツールに類似した、コンプライアンス エージェント用の支援ツール。
● 特徴
● 内部システムおよびオープンソース インテリジェンスからの情報の収集と合成を強化します。
● 物語の概要と明確なリスクレビューシグナルの構成。
● 十分な情報に基づいて自信を持って意思決定できるよう、完全に文書化された説明可能な調査をコンプライアンス担当者に提供します。
● インパクト
● コンプライアンス チームの権限強化とコンプライアンス運用基準の向上。
レイを活用したスケーラビリティ
● Ray クラスターを最適化および管理します。
● 数千の CPU と GPU にわたる効率的な分散とスケーリング。
● 大規模なデータセットと複雑なモデルを処理します。
● 統合された開発者エクスペリエンス:
● 実験から実稼働までのワークフローを合理化します。
● インタラクティブな開発コンソール。
● 組み込みの IDE。
● 分散ワークロードをデバッグするためのツール。
● 開発者の生産性の向上を目指します。
● 本番環境の準備:
● Ray にエンタープライズ グレードの機能を追加します。
● 高度な可観測性。
● データガバナンス。
● コスト追跡。
● 堅牢な管理ツール。
● ML モデルの信頼性、セキュリティ、パフォーマンスを保証します。
● クラウドに依存しない展開:
● さまざまなクラウドプロバイダー (AWS、Google Cloud) にわたるデプロイメントをサポートします。
● オンプレミスの Kubernetes クラスターをサポートします。
● 組織が既存のインフラストラクチャを活用できるようにします。
● データとリソースの制御を維持します。
● 最適化と統合:
● パフォーマンスとコスト削減のための最適化が含まれます。
● 必須の ML ツールとの統合:
● 実験追跡のための重みとバイアス。
● ワークフロー オーケストレーション (Apache Airflow を使用) の Astronomer。
● AI 民主化に焦点を当てる:
● 分散コンピューティングの複雑さを簡素化します。
● 高度な AI および ML 機能をより利用しやすくすることを目的としています。
● レイ AI ライブラリ
● レイ データ: スケーラブルなデータ処理用。特に画像、オーディオ、ビデオなどの非構造化データに適しています。
● Ray Train: PyTorch、PyTorch Lightning、Hugging Face Transformers などのフレームワークを統合した分散モデル トレーニング用。
● Ray Tune: スケーラブルでフォールトトレラントなハイパーパラメータ調整と実験実行のためのフレームワーク。
● Ray Serve: 機械学習モデルを、低遅延でスケーラブルでプログラム可能な API としてデプロイおよび提供します。
● RLlib: 強化学習用の業界グレードのライブラリで、ロボット工学から金融まで幅広いアプリケーションをサポートします。
コンプライアンスのためのエージェント アーキテクチャ
イニシエーション
● このプロセスは、深層学習コンプライアンス リスク モデルが高リスクのケースに対してアラートをトリガーするときに始まります。
● リスクの高いコンプライアンス事例の包括的な調査である全体的なレビューを開始します。
● コンプライアンス自動解決エンジン (CAR)
● ソリューションの中心となり、総合的なレビュー プロセスのオーケストレーターとして機能します。
● エージェントの AI- 主導のワークフローで自動化と人間の専門知識の両方を活用します。
● 人間参加型プロセス
● 2 人の人間のペルソナとのインタラクション:
● コンプライアンス運用エージェント: AI システムの調査結果を確認し、改善のためのフィードバックを提供します。
● エンドカスタマー: 必要に応じて追加情報をお問い合わせください。
● データの集約と合成
● エンジンは、標準化された MCP データ コネクタを介して、さまざまなソース (内部、外部、オープンソース インテリジェンス) からのデータを集約および合成します。
● その結果、ナラティブサマリーと呼ばれる堅牢なレポートが生成されます。
● 最終決定
● 人間のコンプライアンス運用エージェントが、AI の推論とコンプライアンスの証拠をレビューします。
● 事件が政府当局に不審行為報告書を提出するに値するかどうかを判断します。
開発者の生産性
AI で SDLC
● AI エージェントは、ソフトウェア開発ライフサイクル (SDLC) のさまざまな段階でエンジニアリング チームを支援します。
● コーディング、チケット発行、文書化、プル リクエストの作成、プル リクエストのレビューなどのタスクを統合します。
● 注力分野
● コードオーサリング
● コードレビュー
● 品質保証
コードオーサリングツール
クラウドコード
● IDE またはコマンド ラインに直接統合される最先端のコーディング アシスタント。
● カーソル
● インテリジェントでコンテキスト認識型の IDE は、ソフトウェア開発をより迅速に、より共同で、効率的に行うために設計されています。
● 開発者が好みに基づいて選択できるオプションとして提供されます。
● モデルに電力を供給する
● Bedrock を通じて提供される Anthropic モデルを利用したツール。
プルリクエストとコードレビュー
自社製ツール
● オープンソース ツールを採用し、Bedrock のモデルで強化しました。
● PR レビューを自動化するための AI-powered GitHub アクションとして実装されています。
● 意味：
● 「自家製ツール」とは、特定の固有の問題に対処するために企業またはコミュニティによって社内で開発されたソフトウェア、アプリケーション、またはソリューションです。
● 開発アプローチ:
● 多くの場合、カスタム スクリプトを使用して作成されます。
● Visio や Excel などの既存のプラットフォームを利用します。
● 既製製品への依存を回避します。
● 特徴
● プル リクエストと基礎となるコードの変更を要約します。
● 明確な自然言語によるレビュー コメントを生成します。
● コーディング規約を強制します。
● 単体テストの対象範囲のギャップを強調します。
● CI 障害をデバッグするためのヒントを提供します。
● インパクト
● コードレビューの日常的な側面を自動化し、人間の開発者が微妙な側面に集中してより高い価値を提供できるようにします。
品質保証
自動化されたUIテストツール
● Web およびモバイル向けのエンドツーエンドの品質保証自動化のための自社製 AI- 強力ツール UI。
● 自然言語テストの記述を自律的なブラウザーのアクションに変換します。
● 特徴
● BrowserStack などのサービスを使用して、さまざまなフォーム ファクターでブラウザー アクションを実行します。
● Playwright などのフレームワークを通じてブラウザーのアクションをエミュレートします。
● 利点
● 人間と同じように UI をテストできるため、品質保証プロセスの有効性が向上します。
開発者の生産性に対する AI の影響
コード生成
● Coinbase で毎日書かれるすべてのコードのうち、ほぼ 40% が AI- 生成されるか、AI- の影響を受けます。
● 間もなく 50% を超えるという目標ですが、人間によるレビューと理解がまだ必要です。
● 自動化された PR レビュー
● 推定年間約 75,000 時間の節約。
● コーディング規約を強制することでコードの品質を高めます。
● 品質保証
● AI-powered UI テスト ツールは、人間のテスターと同等の精度を実現します。
● 同じ時間内に人間の 3 倍の数のバグを検出します。
● 新しいテストの導入プロセスが大幅にスピードアップします (最短 15 分)。
● 従来の手動テストと比較して、コストが大幅に削減されます。