2021年6月23日，以“轉型新范式”為主題的2021第四范式發(fā)布會(huì )暨企業(yè)智能化轉型峰會(huì )在京召開(kāi)。峰會(huì )上，第四范式宣布將開(kāi)源OpenMLDB機器學(xué)習數據庫和OpenAIOS人工智能操作系統內核，并開(kāi)放上線(xiàn)了基于機器學(xué)習數據庫和AI操作系統內核的AIOS社區版，讓更多企業(yè)、個(gè)人開(kāi)發(fā)者在“避坑”的同時(shí)，正確高效的構建智能化應用。

很多企業(yè)和開(kāi)發(fā)者在使用機器學(xué)習技術(shù)的時(shí)候已經(jīng)意識到正確數據供給的重要性，然而現有的傳統數據系統，不論是事務(wù)型數據庫、分析型數據庫還是傳統數倉，都無(wú)法面向機器學(xué)習提供正確高效的數據供給，在實(shí)際應用開(kāi)發(fā)與落地過(guò)程中仍然會(huì )大量出現數據穿越、泄露、離線(xiàn)在線(xiàn)不一致、拼接錯位等數據問(wèn)題。這是因為機器學(xué)習需要解決三個(gè)核心數據問(wèn)題：線(xiàn)上線(xiàn)下一致性(Consistency)、數據閉環(huán)(Closed-loop)、數據時(shí)序正確(Chronology)。

OpenMLDB一方面通過(guò)統一的數據存儲引擎避免了跨數據庫的信息交換，從而避免了大腦之間的信息交換。另一方面通過(guò)統一的數據計算引擎，使離線(xiàn)和在線(xiàn)使用同一套計算邏輯，確保了總結規律和線(xiàn)索演算時(shí)思維方式的一致。在時(shí)序正確性和閉環(huán)完整性上，OpenMLDB 也矯正了傳統數據系統造成的機器學(xué)習最易出現的數據穿越、泄露以及閉環(huán)錯位等問(wèn)題。

除了數據上的困局，AI在計算、存儲、通信等方面也是“資源大戶(hù)”，低效的硬件資源利用率和高昂的成本投入成為了轉型的阻礙。不管是計算、存儲還是通信，不同的異構芯片、異構存儲、異構通信設備，都需要操作系統內核進(jìn)行統一的管理與調度，保障任務(wù)的成功率與資源利用率。第四范式OpenAIOS是一個(gè)完全面向AI的分布式操作系統內核，實(shí)現了多級計算內核、多級存儲內核以及多級通信內核，來(lái)應對異構算力的管理和調度。

以多級存儲內核為例，面向存儲密集型技術(shù)組件，因為內存和顯存不夠導致的任務(wù)失敗是AI任務(wù)最常遇到的難題，在不侵入現有應用和代碼的情況下，OpenAIOS 在操作系統內部建立起一套面向內存和顯存的多級存儲內核，通過(guò)自動(dòng)擴容策略和多級緩存機制將存儲容量進(jìn)行擴展，降低整體存儲成本的同時(shí)提高任務(wù)的成功率。

除了存儲密集型技術(shù)組件，面向計算密集型技術(shù)組件、通信密集型技術(shù)組件，OpenAIOS也提供了感知硬件拓撲的異構計算調度能力，以及面向異構加速器的專(zhuān)用通信協(xié)議，提升計算效率的同時(shí)，減輕數據通信上的壓力。

在開(kāi)源的基礎上，第四范式開(kāi)放了開(kāi)箱即用的“AIOS社區版”，整合了提供正確數據供給的機器學(xué)習數據庫OpenMLDB以及提升計算效率的AI操作系統內核OpenAIOS，社區和開(kāi)發(fā)者可在免費的線(xiàn)上算力和應用開(kāi)發(fā)環(huán)境進(jìn)行體驗和學(xué)習。并支持多種本地 IDE，讓大家保持PC上開(kāi)發(fā)單機應用體驗的同時(shí)，無(wú)縫的將分布式任務(wù)對接到異構云資源上。在應用的開(kāi)放性上， 除了內置的核心應用，AIOS 社區版也提供了應用商店， 能夠支持所有的云原生第三方應用。

此外，第四范式也進(jìn)一步公布了“Knot 中國結”開(kāi)源計劃，將在一年內開(kāi)源開(kāi)放95%的核心技術(shù)，未來(lái)三年為企業(yè)培養超過(guò)10000名AI應用開(kāi)發(fā)人才。

【劃重點(diǎn)】

歡迎大家復制以下GitHub鏈接，分享及下載第四范式開(kāi)源機器學(xué)習數據庫OpenMLDB及開(kāi)源人工智能操作系統內核OpenAIOS

OpenAIOS Github: