RM新时代APP官网网址

第四范式開(kāi)源項目OpenMLDB榮登ACM旗艦期刊
2023-07-21
日前，最新一期的ACM（國際計算機學(xué)會(huì )）旗艦期刊《Communications of the ACM》(ACM 通訊) 刊登了由第四范式主導的開(kāi)源機器學(xué)習數據庫項目 OpenMLDB 的文章，獲得了期刊編輯主席團的一致認可。


文章鏈接：https://cacm.acm.org/magazines/2023/7/274061-principles-and-practices-of-real-time-feature-computing-platforms-for-ml/fulltext

《Communications of the ACM》被譽(yù)為計算機界的Nature，主要刊登面向全世界計算機領(lǐng)域具有深刻影響力的學(xué)術(shù)或工業(yè)界成果，以刊載研究論文、評論、實(shí)例分析文章、應用指南、技術(shù)通訊及學(xué)術(shù)動(dòng)態(tài)等內容為主，是計算機專(zhuān)業(yè)最有影響力的技術(shù)期刊之一。

新南威爾士大學(xué)教授Flora Salim、日本國立情報學(xué)研究所教授 Ken-ichi Kawarabayashi、新加坡國立大學(xué)計算機學(xué)院副院長(cháng)及教授、2020 ACM 杰出科學(xué)家 Dr. Bingsheng He 等多位期刊編輯主席，均對 OpenMLDB 在推動(dòng)人工智能在企業(yè)級應用中落地所做的貢獻給予了肯定。其中，Dr. Bingsheng He 將其視為“a very efficient feature engineering tool to help AI task（面向AI任務(wù)的高效特征工程工具）?！?/span>

《Communications of the ACM》7月刊采訪(fǎng)視頻

此次刊登OpenMLDB的文章名為“Principles and Practices of Real-Time Feature Computing Platforms for ML”，該文章從業(yè)務(wù)挑戰、設計原理、核心特性、最佳實(shí)踐等方面對面向機器學(xué)習的實(shí)時(shí)特征計算平臺 OpenMLDB 展開(kāi)介紹。

以下為摘錄的部分內容：

在機器學(xué)習的很多應用場(chǎng)景中，為了獲得高業(yè)務(wù)價(jià)值的模型，對于實(shí)時(shí)特征有很強的需求，比如實(shí)時(shí)的個(gè)性化推薦、風(fēng)控、反欺詐等。但是，由數據科學(xué)家所構建的特征計算腳本（一般基于Python、SparkSQL 開(kāi)發(fā)），由于無(wú)法滿(mǎn)足低延遲、高吞吐、高可用等生產(chǎn)級特性，因此無(wú)法直接上線(xiàn)。為了在生產(chǎn)環(huán)境中上線(xiàn)特征腳本用于模型推理，并且滿(mǎn)足實(shí)時(shí)計算的性能要求，往往需要工程化團隊（使用高性能數據庫、C++ 等）進(jìn)行代碼重構和優(yōu)化。那么，由于兩個(gè)團隊、兩套系統參與了從離線(xiàn)開(kāi)發(fā)到部署上線(xiàn)的全流程，線(xiàn)上線(xiàn)下一致性校驗成為一個(gè)必不可少的步驟，其往往需要耗費大量的溝通成本、開(kāi)發(fā)成本和測試成本。

為解決這一問(wèn)題，OpenMLDB依托 SQL 開(kāi)發(fā)能力，面向開(kāi)發(fā)即上線(xiàn)的優(yōu)化目標以及實(shí)時(shí)計算的高性能進(jìn)行設計，為企業(yè)級機器學(xué)習應用提供線(xiàn)上線(xiàn)下計算一致、高性能低門(mén)檻的生產(chǎn)級特征平臺。

如圖1 所示，在傳統流程中，為了上線(xiàn)一個(gè)實(shí)時(shí)特征服務(wù)，首先科學(xué)家進(jìn)行離線(xiàn)特征腳本開(kāi)發(fā)，然后由工程化團隊重構為符合線(xiàn)上生產(chǎn)需求的實(shí)時(shí)服務(wù)，還需要由科學(xué)家和工程化團隊進(jìn)行線(xiàn)上線(xiàn)下一致性校驗，整個(gè)流程可能耗費數月人天成本?；?OpenMLDB，數據科學(xué)家使用 SQL 語(yǔ)言定義特征，通過(guò)一致性執行計劃生成器在程序內部保證線(xiàn)上和線(xiàn)下的一致性，并且通過(guò)實(shí)時(shí) SQL 引擎保證線(xiàn)上服務(wù)的低延遲、高吞吐、高可用。因此，數據科學(xué)家使用 SQL 做離線(xiàn)特征開(kāi)發(fā)，當驗證滿(mǎn)足業(yè)務(wù)需求后，僅需通過(guò)命令一鍵部署到線(xiàn)上服務(wù)，實(shí)現開(kāi)發(fā)即上線(xiàn)，帶來(lái)數月人天成本的節省。

圖1 面向開(kāi)發(fā)即上線(xiàn)目標設計的 OpenMLDB 抽象架構
目前，OpenMLDB已在A(yíng)kulaku、唯品會(huì )等社區企業(yè)用戶(hù)中廣泛使用。其中：

  • Akulakua（出?；ヂ?lián)網(wǎng)金融公司 ） ：將 OpenMLDB 應用于其金融科技類(lèi)場(chǎng)景中，不僅提升團隊約一倍人效、節約數百萬(wàn)成本，同時(shí) OpenMLDB 也是相比 Spark、Flink 及其他 MPP 選型中唯一具備線(xiàn)性 scale 能力的方案。

  • 唯品會(huì )（中國頭部品牌特賣(mài)電商） ：將 OpenMLDB 應用于其海外業(yè)務(wù)的商品及品牌個(gè)性化推薦場(chǎng)景，帶來(lái) 10毫秒以?xún)鹊耐扑]延時(shí)以及特征開(kāi)發(fā)迭代速度60%的提升。

OpenMLDB官網(wǎng)
https://openmldb.ai/
OpenMLDB GitHub主頁(yè)
https://github.com/4paradigm/OpenMLDB
OpenMLDB文檔：
https://openmldb.ai/docs/zh/

RM新时代APP官网网址