รายละเอียด:
การเทรด FX ในเอเชียเป็นปัญหาด้านระบบกระจายตัว (Distributed systems) พอๆ กับที่เป็นปัญหาด้านตลาด โต๊ะเทรดที่เน้นจีนต้องรวมตลาดเงินหยวน Onshore และ Offshore, สกุลเงินในภูมิภาค, เส้นอัตราดอกเบี้ย, Forward points, ปฏิทิน Fixing, เหตุการณ์ธนาคารกลาง, สภาวะสภาพคล่อง, ต้นทุนเงินทุน, ข้อมูลหลักประกัน, ลิมิตคู่สัญญา และบันทึกปฏิบัติการ ข้อมูลขาเข้าเหล่านี้มาด้วยความเร็วและฟอร์แมตที่ต่างกัน ทั้งยังถูกกำกับดูแลโดยนิติบุคคล ข้อตกลงการเข้าถึงตลาด เงื่อนไขสิทธิ์การใช้งาน และข้อกำหนดที่ตั้งข้อมูลที่ต่างกัน โอกาส Carry ที่ดูน่าสนใจจากราคา Spot และ Forward เพียงอย่างเดียว อาจหายไปหลังจากรวมต้นทุนประกันความเสี่ยง, Cross-currency basis, Slippage ในการส่งคำสั่ง, วันหยุดที่ไม่ตรงกัน, ค่าใช้จ่ายงบการเงิน และข้อสันนิษฐานการถอนตัวสภาวะตึงเครียด
เซสชันนี้นำเสนอสถาปัตยกรรมอ้างอิงที่สร้างขึ้นรอบกรอบการทำงานแบบ Declarative ของ Databricks Lakeflow โดย Lakeflow Connect จะเป็นเลเยอร์การดึงข้อมูลสำหรับฐานข้อมูล แอปพลิเคชัน SaaS แหล่งไฟล์ และระบบสตรีมมิง ระบบนิเวศที่มี Connectors สำเร็จรูปกว่า 100 รายการสามารถนำข้อมูลการเทรดและความเสี่ยงมารวมกับบริบทองค์กรจากแหล่งต่างๆ เช่น Salesforce, Workday และแพลตฟอร์มปฏิบัติการอื่นๆ พายไลน์การดึงข้อมูลแบบจัดการจะใช้การอ่านเขียนแบบเพิ่มส่วน (Incremental reads/writes), การประมวลผลแบบ Serverless และการเชื่อมต่อ Unity Catalog เพื่อลดโค้ด Connector และโครงสร้างพื้นฐานที่ตามประเพณีแล้วต้องใช้เพื่อรักษาความสดใหม่ของข้อมูลภูมิภาค
สถาปัตยกรรมที่เสนอจะแยกแพลตฟอร์มออกเป็น 6 โซนที่มีการกำกับดูแล โซนต้นทาง (Source zone) รับข้อมูล Spot, Forward, Swap, Curve, Benchmark, เศรษฐกิจมหาภาค, สถานะ, คำสั่ง, การส่งคำสั่ง, หลักประกัน และปฏิบัติการ โซนการดึงข้อมูล (Ingestion zone) ใช้ Managed connectors, Change data capture, การนำเข้าไฟล์, อินเทอร์เฟซสตรีมมิง และ Data contracts โซนประมวลผลแบบ Declarative กำหนดความคาดหวังด้านคุณภาพ ความสัมพันธ์ระหว่างข้อมูล การแปลงข้อมูล และพฤติกรรมการกู้คืนเป็นพายไลน์ที่ดูแลรักษาง่าย แทนที่จะเป็นชุดสคริปต์ที่เปราะบาง โซนข้อมูลที่เชื่อถือได้ (Trusted-data zone) เผยแพร่ชุดข้อมูลคู่สกุลเงิน, Tenor, Curve, วันหยุด, Fixing, คู่สัญญา และนิติบุคคลที่เป็นมาตรฐาน โซนการบริการ (Serving zone) สนับสนุนการวิเคราะห์ของเทรดเดอร์, APIs, แดชบอร์ดความเสี่ยง และงานวิจัย โซนการกำกับดูแล (Governance zone) ใช้ Unity Catalog สำหรับสิทธิ์ การค้นหา สายวิวัฒนาการ ความสามารถในการตรวจสอบ และการเป็นเจ้าของ
เส้นทางข้อมูลโดยละเอียดติดตามสัญญาณ CNH carry จากต้นทางสู่การตัดสินใจ Lakeflow จะดึงโควตราคา Spot และ Forward, เส้นอัตราดอกเบี้ยระยะสั้น, ตัวชี้วัดเงินทุน Offshore, ข้อมูลคำสั่งและการจับคู่แมตช์ และปฏิทินตลาดที่อนุมัติ พายไลน์แบบ Declarative จะปรับมาตรฐานสัญลักษณ์สกุลเงิน จัดเรียงเวลาเหตุการณ์ ตรวจสอบความสัมพันธ์ Bid-ask ระบุข้อมูลที่ไม่ใหม่อัปเดต จัดการข้อมูลที่มาล่าช้า และคำนวณ Forward-implied yield เลเยอร์ที่คัดสรรแล้วจะคำนวณ Carry, Roll-down, Cross-currency basis, ผลตอบแทนปรับตามต้นทุนธุรกรรม, ผลตอบแทนปรับตามความผันผวน, Drawdown ที่คาดการณ์, คะแนนสภาพคล่อง และต้นทุนถอนตัวสภาวะตึงเครียด แอปพลิเคชันโต๊ะเทรดจะใช้เฉพาะผลลัพธ์ที่มีการกำกับดูแลและให้คะแนนคุณภาพแล้ว ขณะที่ข้อมูลสังเกตการณ์ดิบและสายวิวัฒนาการการแปลงข้อมูลจะยังคงมีอยู่สำหรับการ Replay และการสืบสวน
เซสชันจะสำรวจวิธีที่การอัปเกรดแพลตฟอร์มแม่อัตโนมัติควรถูกควบคุมในสภาพแวดล้อมสถาบัน Lakeflow Pipelines สามารถทำงานในโมเดล Versionless ซึ่ง Databricks จัดการการอัปเกรด Runtime ซึ่งช่วยลดการลงแพตช์ด้วยตนเอง แต่ธนาคารหรือบริษัทเทรดยังคงต้องการการทดสอบช่องทาง Preview, ชุดข้อมูลเพื่อทดสอบการถดถอย (Regression datasets), ประตูคุณภาพข้อมูล, เกณฑ์มาตรฐานประสิทธิภาพ, ขั้นตอนการย้อนกลับ (Rollback procedures), การควบคุมการพึ่งพาระบบ และการอนุมัติโปรดักชันอย่างเป็นทางการ การออกแบบจึงนำเสนอ Certification pipeline ที่ประเมินการเปลี่ยนแปลงที่กำลังจะมาถึงเทียบกับเวิร์กโหลดตัวอย่างของโต๊ะเทรดจีนก่อนการนำไปใช้วงกว้าง
พิมพ์เขียวยังตรวจสอบการประเมินความสอดคล้องอัตโนมัติสำหรับตารางจัดการ Unity Catalog และการเปิดใช้คุณลักษณะตารางอย่างควบคุมได้ เช่น Row Tracking, Checkpoint V2 และ Deletion Vectors คุณลักษณะเหล่านี้สามารถปรับปรุงการประมวลผลเพิ่มส่วน ประสิทธิภาพ Streaming checkpoint และประสิทธิภาพการอัปเดตหรือลบข้อมูล แต่ต้องได้รับการประเมินเทียบกับความสอดคล้องของ Runtime ข้อกำหนดการแชร์ ขั้นตอนการกู้คืน และระบบอ่านข้อมูลปลายทาง สำหรับข้อมูลกึ่งมีโครงสร้างประเภท VARIANT ข้อเสนอรวมถึงรูปแบบความพร้อมสำหรับ Variant shredding ซึ่งจัดเก็บฟิลด์ที่เข้าถึงบ่อยในเค้าโครงแนวคอลัมน์ที่มีชนิดข้อมูลชัดเจน เนื่องจากสิทธิ์เริ่มต้นและความสอดคล้องของ Runtime สามารถเปลี่ยนแปลงตามรุ่นที่ปล่อย แพลตฟอร์มจะบันทึกคุณลักษณะตารางอย่างชัดเจนและทดสอบผู้ใช้ข้อมูลทั้งหมดก่อนนำมาใช้
ความยืดหยุ่นเฉพาะเอเชียถูกออกแบบไว้ในสถาปัตยกรรม พายไลน์คำนึงถึงวันหยุดตลาดแลกเปลี่ยนและธนาคาร เซสชันการเทรดที่ไม่คาบเกี่ยวกัน Benchmark ที่ล่าช้า ข้อความซ้ำจากผู้ให้บริการ การหยุดชะงักของเครือข่ายภูมิภาค และการสูญเสียสภาพคล่องฉับพลัน เป้าหมายการกู้คืนถูกกำหนดตามความวิกฤตของชุดข้อมูล การประมวลผลแบบ Idempotent, Durable checkpoints, ประวัติต้นทางที่ Replay ได้, การควบคุมการกระทบยอด และชุดข้อมูลสภาวะจำกัด ช่วยให้โต๊ะเทรดทำงานได้อย่างปลอดภัยเมื่อต้นทางไม่สมบูรณ์ สิทธิ์การเข้าถึงสามารถแบ่งส่วนตามนิติบุคคล โต๊ะเทรด เขตอำนาจ สกุลเงิน และความ sensitive ของชุดข้อมูล