今天，第四范式推出大模型推理端側解決方案ModelHub AIoT，用戶(hù)在端側可輕松部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型，離線(xiàn)運行，并可靈活在多個(gè)模型之間切換，兼顧了模型壓縮、推理性能，解決了部署與優(yōu)化的復雜性。該方案不僅能夠滿(mǎn)足用戶(hù)對隱私和實(shí)時(shí)性的需求，還極大降低了AI大模型推理成本。

優(yōu)秀的端側推理框架在端側算力的支持下，展現出卓越的性能與適配性。模型在本地即時(shí)處理請求，提供流暢的用戶(hù)體驗。在網(wǎng)絡(luò )不穩定或離線(xiàn)環(huán)境下，端側模型仍能正常運行，確保服務(wù)的連續性。