紅帽公司，全球開源技術(shù)的領(lǐng)航者，近期宣布了一項(xiàng)名為llm-d的革命性開源項(xiàng)目，該項(xiàng)目專注于解決生成式人工智能在大規(guī)模推理應(yīng)用中的迫切需求。該項(xiàng)目匯聚了包括CoreWeave、谷歌云、IBM研究院和NVIDIA在內(nèi)的多家行業(yè)領(lǐng)軍企業(yè)作為初始貢獻(xiàn)者，致力于通過尖端技術(shù)，使大語言模型推理云服務(wù)能夠滿足最為嚴(yán)苛的生產(chǎn)服務(wù)級標(biāo)準(zhǔn)。
隨著推理技術(shù)在人工智能領(lǐng)域戰(zhàn)略地位的日益凸顯，根據(jù)Gartner的最新預(yù)測，到2028年，超過80%的數(shù)據(jù)中心工作負(fù)載加速器將專門用于推理而非訓(xùn)練。這一趨勢反映出推理模型復(fù)雜性和規(guī)模的持續(xù)擴(kuò)大，但同時(shí)也帶來了資源需求急劇增加的問題，限制了集中式推理的可行性。高昂的成本和較長的延遲成為了制約AI創(chuàng)新發(fā)展的關(guān)鍵障礙。
面對這一挑戰(zhàn)，紅帽及其合作伙伴通過llm-d項(xiàng)目成功地將先進(jìn)的推理能力融入現(xiàn)有的企業(yè)IT基礎(chǔ)設(shè)施中。這一統(tǒng)一平臺不僅能夠幫助IT團(tuán)隊(duì)在滿足關(guān)鍵業(yè)務(wù)工作負(fù)載需求的同時(shí)部署創(chuàng)新技術(shù)，以最大化效率，還能顯著降低高性能AI加速器的總體擁有成本。llm-d項(xiàng)目的核心價(jià)值在于打破了傳統(tǒng)推理部署的局限，為企業(yè)提供了更為靈活、高效且經(jīng)濟(jì)的AI推理解決方案。
llm-d項(xiàng)目得到了由生成式AI模型提供商、AI加速器先驅(qū)和主要AI云平臺組成的強(qiáng)大聯(lián)盟的支持。除了四家初始貢獻(xiàn)者外，AMD、思科、Hugging Face、英特爾、Lambda和Mistral AI等重要企業(yè)也紛紛加入，展現(xiàn)了業(yè)界在構(gòu)建大規(guī)模語言模型服務(wù)未來方面的深度合作意愿。
行業(yè)領(lǐng)袖對llm-d項(xiàng)目給予了積極響應(yīng)。谷歌云AI與計(jì)算基礎(chǔ)設(shè)施部門的副總裁兼總經(jīng)理Mark Lohmeyer表示：“在企業(yè)大規(guī)模部署AI并為用戶創(chuàng)造價(jià)值的過程中，高效的AI推理至關(guān)重要。在我們進(jìn)入推理新時(shí)代之際，谷歌云很榮幸能夠作為llm-d項(xiàng)目的初始貢獻(xiàn)者，繼續(xù)秉承我們的開源貢獻(xiàn)傳統(tǒng)。”
NVIDIA工程AI框架的副總裁Ujval Kapasi也指出：“l(fā)lm-d項(xiàng)目是對開源AI生態(tài)系統(tǒng)的重要補(bǔ)充，體現(xiàn)了NVIDIA對合作推動生成式AI創(chuàng)新的承諾。可擴(kuò)展、高性能的推理是下一波生成式AI和代理式AI的關(guān)鍵。我們正與紅帽和其他支持合作伙伴合作，利用NVIDIA Dynamo創(chuàng)新如NIXL等，加速llm-d項(xiàng)目的發(fā)展。”
llm-d項(xiàng)目的啟動標(biāo)志著AI推理領(lǐng)域邁入了一個(gè)全新的發(fā)展階段。通過開源模式匯聚產(chǎn)業(yè)智慧，該項(xiàng)目不僅有望解決當(dāng)前大規(guī)模推理面臨的成本和性能挑戰(zhàn)，還將為整個(gè)AI生態(tài)系統(tǒng)的可持續(xù)發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。隨著更多企業(yè)和開發(fā)者的加入，llm-d項(xiàng)目有望成為推動AI推理技術(shù)標(biāo)準(zhǔn)化和普及化的重要力量。
