【ITBEAR】摩爾線程官方今日宣布，已成功將大語言模型高速推理框架vLLM的MUSA移植版本上線，此舉旨在為開發(fā)者提供基于摩爾線程全功能GPU進(jìn)行開源項目MUSA移植的參考。
據(jù)悉，vLLM作為一款高效且便捷的大模型推理和服務(wù)框架，已在眾多大語言模型中發(fā)揮關(guān)鍵作用，并逐漸成為行業(yè)內(nèi)廣泛采用的開源推理框架。
摩爾線程團隊針對vLLM v0.4.2版本進(jìn)行了詳盡的移植適配工作，為vLLM框架新增了摩爾線程GPU后端Device支持，并慷慨地將移植后的vLLM-MUSA版本開源，供開發(fā)者社區(qū)使用。
通過這一開源項目，開發(fā)者們能夠基于摩爾線程GPU以及vLLM-MUSA進(jìn)行更為深入的二次開發(fā)，同時也可輕松將vLLM升級至社區(qū)發(fā)布的最新版本。
摩爾線程進(jìn)一步指出，其MUSA軟件棧與CUDA軟件棧接口的高度兼容性，不僅顯著提升了應(yīng)用移植的效率，還大幅縮短了整個開發(fā)周期。為了進(jìn)一步降低開發(fā)者在MUSA平臺上進(jìn)行大語言模型訓(xùn)練和推理應(yīng)用適配的難度，摩爾線程還提供了一系列實用的工具和腳本，其中包括MUSIFY自動代碼移植工具。
對于對摩爾線程GPU及vLLM-MUSA開源項目感興趣的開發(fā)者，可通過訪問官方GitHub倉庫獲取更多信息和資源。附vLLM-MUSA開源地址：https://github.com/MooreThreads/vLLM_musa
此舉無疑將促進(jìn)大語言模型推理領(lǐng)域的技術(shù)發(fā)展，并為開發(fā)者社區(qū)帶來更多的便利與創(chuàng)新機會。
