信創(chuàng )模盒ModelHub XC｜適配模型25000+ 完成智譜GLM-5模型部署
2026-03-05
今天，范式旗下信創(chuàng )模盒ModelHub XC完成智譜GLM-5模型在天數智芯天垓150上的部署與驗證，并將于近日上線(xiàn)。同時(shí)，平臺上模型的適配認證數量已超過(guò)25000個(gè)。GLM-5在國產(chǎn)硬件上的部署實(shí)踐本次部署以GLM-5-INT4-Pack8量化模型為核心，依托Docker容器化技術(shù)，采用vLLM推理框架，并啟用pipeline-parallel與tensor-parallel分布式并行策略，最終對外提供標準OpenAI Chat Completions API服務(wù)。部署過(guò)程中，通過(guò)INT4量化技術(shù)對模型權重壓縮，降低顯存占用，并用Pack8技術(shù)提升訪(fǎng)存效率與計算吞吐。推理層面采用vLLM框架的顯存管理技術(shù)與迭代級動(dòng)態(tài)調度機制，減少顯存碎片，實(shí)現請求級的持續批處理。同時(shí)結合張量并行與流水線(xiàn)并行，在多卡環(huán)境下進(jìn)行計算與通信重疊。此次部署驗證了國產(chǎn)天數智芯硬件與大模型主流推理框架的深度適配性，實(shí)現從模型量化、容器化封裝到高性能推理的全鏈路自主可控，為后續基于信創(chuàng )環(huán)境的AI應用開(kāi)發(fā)提供可靠的技術(shù)范式。平臺生態(tài)協(xié)同突破：適配模型數量突破25000個(gè)截至目前，信創(chuàng )模盒ModelHub XC已完成超過(guò)25000個(gè)大模型的適配認證，覆蓋昇騰、摩爾線(xiàn)程、天數智芯、海光等主流國產(chǎn)芯片。其中，昇騰系列累計適配模型超過(guò)13000個(gè)，摩爾線(xiàn)程MTT S4000等芯片適配模型超過(guò)6000個(gè)，天數智芯系列適配模型突破3000個(gè)，海光AI加速卡適配模型超過(guò)1500個(gè)。模型架構層面，平臺已完成對Qwen2、GLM-4、DeepSeek-V2、Llama3、InternLM2等最新一代模型體系的適配，支持多模態(tài)、長(cháng)文本、強化推理等能力。未來(lái)，范式將持續進(jìn)行模型推理性能的優(yōu)化，推進(jìn)信創(chuàng )硬件與AI框架的適配工作。
范式集團（港交所代碼: 6682）是全球領(lǐng)先的通用人工智能科技公司，以“AI for everyone”為使命，致力于用“AI agent+世界模型”的技術(shù)路線(xiàn)賦能千行萬(wàn)業(yè)。公司成立于2014年，于2025年實(shí)現集團化，下設企業(yè)服務(wù)（第四范式）、大模型與AGI（萬(wàn)神殿）、消費電子（范式領(lǐng)航）、智慧能源（范式方舟）、智慧體育（范式網(wǎng)動(dòng)）等業(yè)務(wù)板塊。截至目前，公司已在金融、零售、醫療等領(lǐng)域成功落地超10000+個(gè)AI應用，始終致力于推動(dòng)AI普惠，助力企業(yè)實(shí)現可持續增長(cháng)。
