微軟研究院近期揭曉了其最新的大型語(yǔ)言模型（LLM）成果——BitNet b1.58 2B4T，這款模型憑借獨(dú)特的1.58位低精度架構(gòu)設(shè)計(jì)，成功將模型大小壓縮至僅0.4GB，引起了業(yè)界的廣泛關(guān)注。
BitNet b1.58 2B4T擁有20億參數(shù)，其最大的亮點(diǎn)在于采用了原生1-bit訓(xùn)練技術(shù)，這一創(chuàng)新直接挑戰(zhàn)了傳統(tǒng)的訓(xùn)練后量化方法。這種新方法不僅保持了模型的高性能，還顯著降低了對(duì)計(jì)算資源的需求。在與同規(guī)模全精度模型的對(duì)比中，BitNet b1.58 2B4T展現(xiàn)出了相近的性能，而在內(nèi)存占用方面，其非嵌入內(nèi)存僅為0.4GB，遠(yuǎn)低于競(jìng)品Gemma-3 1B的1.4GB和MiniCPM 2B的4.8GB。
為了實(shí)現(xiàn)這一突破，BitNet b1.58 2B4T摒棄了常規(guī)的16位數(shù)值表示，轉(zhuǎn)而采用了定制的BitLinear層，將權(quán)重限制為-1、0和1三種狀態(tài)，形成了一種高效的三值系統(tǒng)。這種設(shè)計(jì)使得每個(gè)權(quán)重僅需約1.58位信息存儲(chǔ)，從而極大地節(jié)省了內(nèi)存空間。模型的層間激活值采用了8位整數(shù)量化，形成了獨(dú)特的W1.58A8配置。微軟團(tuán)隊(duì)還對(duì)Transformer架構(gòu)進(jìn)行了優(yōu)化，引入了平方ReLU激活函數(shù)、標(biāo)準(zhǔn)旋轉(zhuǎn)位置嵌入（RoPE）以及subln歸一化等技術(shù)，確保了低位訓(xùn)練的穩(wěn)定性和高效性。
在性能表現(xiàn)上，BitNet b1.58 2B4T在GSM8K（數(shù)學(xué)）和PIQA（物理常識(shí)）等基準(zhǔn)測(cè)試中展現(xiàn)出了優(yōu)異的性能，其整體性能與主流的1B-2B參數(shù)全精度模型相當(dāng)。同時(shí)，該模型在能耗和解碼延遲方面也具有顯著優(yōu)勢(shì)，每token能耗僅為0.028焦耳，解碼延遲低至29毫秒。這些特性使得BitNet b1.58 2B4T在實(shí)際應(yīng)用中具有更高的能效比和更快的響應(yīng)速度。
微軟團(tuán)隊(duì)并未因這一成就而滿足，他們正計(jì)劃對(duì)BitNet b1.58 2B4T進(jìn)行進(jìn)一步優(yōu)化。未來的優(yōu)化方向包括增強(qiáng)對(duì)GPU和NPU的支持，以進(jìn)一步提升模型的運(yùn)行效率；將上下文窗口延長(zhǎng)至4096 token，以提高模型處理長(zhǎng)文本的能力；探索多語(yǔ)言模型的開發(fā)，以滿足不同語(yǔ)言環(huán)境下的應(yīng)用需求；以及研究更大規(guī)模模型的硬件協(xié)同設(shè)計(jì)方案，以推動(dòng)人工智能技術(shù)的進(jìn)一步發(fā)展。
目前，BitNet b1.58 2B4T已在Hugging Face平臺(tái)以MIT許可證發(fā)布，供社區(qū)成員進(jìn)行測(cè)試和應(yīng)用。然而，需要注意的是，要充分發(fā)揮該模型的高效性，需要依賴微軟提供的專用C框架（bitnet.cpp）。使用標(biāo)準(zhǔn)工具（如Hugging Face transformers庫(kù)）可能無法完全展現(xiàn)其速度和能耗優(yōu)勢(shì)。
