RM新时代APP官网网址

推理性能提升10倍，成本下降一半！第四范式發(fā)布大模型推理加速卡、推理框架
2024-03-18
為破解大模型推理中GPU顯存瓶頸，第四范式發(fā)布了大模型推理框架SLXLLM以及硬件版本的推理加速卡4Paradigm Sage LLM Accelerator（簡(jiǎn)稱(chēng)SLX）。通過(guò)多任務(wù)共享存儲及處理優(yōu)化技術(shù)，大模型推理性能提升10倍；在模型效果無(wú)損情況下，同樣使用8張24G顯存GPU對6B/7B大模型進(jìn)行FP16推理，可部署的模型數量從8增至16，GPU利用率從55%最高提升至100%，推理成本僅為原來(lái)的一半。值得一提的是，該能力也將集成在4Paradigm Sage AIOS 5.0中，推動(dòng)大模型落地應用。
當前，業(yè)界公認的大模型推理主要瓶頸之一是GPU顯存瓶頸。同算力一樣，顯存是衡量GPU性能的關(guān)鍵指標之一，用于存儲計算結果、模型參數等數據。在大模型推理的過(guò)程中，往往因為顯存受限，導致GPU的算力無(wú)法被“全部激活”用于推理過(guò)程，GPU算力利用率較低，大模型推理成本居高不下。

為此，第四范式發(fā)布了大模型推理框架SLXLLM以及推理加速卡SLX，在二者聯(lián)合優(yōu)化下，在文本生成類(lèi)場(chǎng)景中，大模型推理性能提升10倍。例如在使用4張80G GPU對72B大模型進(jìn)行推理測試中，相較于使用vLLM，第四范式使用SLXLLM+SLX的方案，可同時(shí)運行任務(wù)數量從4增至40。此外，推理加速卡SLX也可兼容TGI、FastLLM、vLLM等主流大模型推理框架，大模型推理性能提升約1-8倍。

RM新时代APP官网网址