【ITBEAR】摩爾線程近日在國產(chǎn)GPU AI領(lǐng)域取得了顯著進(jìn)展，其全新推出的大語言模型高速推理框架開源項(xiàng)目vLLM的MUSA移植版本已正式上線。此舉旨在為眾多開發(fā)者提供一個(gè)基于摩爾線程GPU進(jìn)行MUSA移植的參考范例，從而進(jìn)一步豐富和完善MUSA的應(yīng)用生態(tài)。
vLLM作為一款高效且便捷的大模型推理與服務(wù)框架，已在業(yè)內(nèi)廣受好評(píng)。摩爾線程針對(duì)vLLM的v0.4.2版本進(jìn)行了精細(xì)化的移植適配工作，使其能夠充分支持摩爾線程GPU后端Device，并實(shí)現(xiàn)了項(xiàng)目的全面開源。這意味著，開發(fā)者們可以基于該項(xiàng)目進(jìn)行二次開發(fā)，或者將vLLM升級(jí)到社區(qū)提供的更新版本，以此推動(dòng)AI技術(shù)的持續(xù)進(jìn)步。
值得關(guān)注的是，摩爾線程的MUSA架構(gòu)在設(shè)計(jì)上具有前瞻性，同時(shí)其軟件棧對(duì)CUDA展現(xiàn)出了出色的兼容性。借助MUSIFY代碼自動(dòng)轉(zhuǎn)換工具，用戶能夠輕松地將原有的CUDA代碼遷移至MUSA平臺(tái)，實(shí)現(xiàn)無縫替代。CUDA相關(guān)庫的調(diào)用亦可迅速替換為對(duì)應(yīng)的MUSA加速庫，例如muDNN算子庫、MCCL集合通信庫以及muBLAS線性代數(shù)庫等。
通過這一系列舉措，摩爾線程不僅顯著提升了應(yīng)用移植的效率，縮短了開發(fā)周期，更為開發(fā)者們提供了一整套實(shí)用的工具和腳本。這無疑將為國產(chǎn)GPU AI的發(fā)展注入新的活力，推動(dòng)AI技術(shù)在更多領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用與落地。如需獲取更多關(guān)于摩爾線程vLLM-MUSA開源項(xiàng)目的詳細(xì)信息，請?jiān)L問其GitHub頁面進(jìn)行查閱。
