微軟開(kāi)源 bitnet.cpp：不靠 GPU 本地運行千億參數 AI 模型
IT之家 10 月 19 日消息，科技媒體 marktechpost 昨日（10 月 18 日）發(fā)布博文，報道稱(chēng)微軟公司開(kāi)源了 bitnet.cpp，這是一個(gè)能夠直接在 CPU 上運行、超高效的 1-bit 大語(yǔ)言模型（LLM）推理框架。
用戶(hù)通過(guò) bitnet.cpp框架，不需要借助 GPU，也能在本地設備上運行具有 1000 億參數的大語(yǔ)言模型，實(shí)現 6.17 倍的速度提升，且能耗可以降低 82.2%。
傳統大語(yǔ)言模型通常需要龐大的 GPU 基礎設施和大量電力，導致部署和維護成本高昂，而小型企業(yè)和個(gè)人用戶(hù)因缺乏先進(jìn)硬件而難以接觸這些技術(shù)，而 bitnet.cpp框架通過(guò)降低硬件要求，吸引更多用戶(hù)以更低的成本使用 AI 技術(shù)。
bitnet.cpp支持 1-bit LLMs 的高效計算，包含優(yōu)化內核以最大化 CPU 推理性能，且當前支持 ARM 和 x86 CPU，未來(lái)計劃擴展至 NPU、GPU 和移動(dòng)設備。
根據初步測試結果，在 ARM CPU 上加速比為 1.37x 至 5.07x，x86 CPU 上為 2.37x 至 6.17x，能耗減少 55.4% 至 82.2%。
bitnet.cpp的推出，可能重塑 LLMs 的計算范式，減少對硬件依賴(lài)，為本地 LLMs（LLLMs）鋪平道路。
用戶(hù)能夠在本地運行模型，降低數據發(fā)送至外部服務(wù)器的需求，增強隱私保護。微軟的“1-bit AI Infra”計劃也在進(jìn)一步推動(dòng)這些模型的工業(yè)應用，bitnet.cpp在這一進(jìn)程中扮演著(zhù)重要角色。
IT之家附上參考地址
