近期，科技界傳來了一則令人矚目的消息。據(jù)知名科技媒體marktechpost報(bào)道，英偉達(dá)公司于近日正式推出了其最新研發(fā)的大型語言模型——Llama-3.1-Nemotron-Ultra-253B-v1，業(yè)界簡稱為Nemotron Ultra。這款模型擁有2530億個(gè)參數(shù)，在推理能力、架構(gòu)效率以及生產(chǎn)準(zhǔn)備度方面實(shí)現(xiàn)了顯著的提升，為AI技術(shù)的發(fā)展注入了新的活力。
隨著AI技術(shù)在數(shù)字基礎(chǔ)設(shè)施中的廣泛應(yīng)用，企業(yè)和開發(fā)者面臨著計(jì)算成本、性能與擴(kuò)展性之間的平衡挑戰(zhàn)。大型語言模型（LLM）雖然能夠顯著提升自然語言理解和對話能力，但其龐大的規(guī)模往往導(dǎo)致效率低下，難以進(jìn)行大規(guī)模部署。針對這一難題，Nemotron Ultra應(yīng)運(yùn)而生。
Nemotron Ultra基于meta的Llama-3.1-405B-Instruct架構(gòu)，專為滿足商業(yè)和企業(yè)需求而設(shè)計(jì)。它能夠支持從工具使用到多輪復(fù)雜指令執(zhí)行等多種任務(wù)，為企業(yè)提供了強(qiáng)大的支持。在架構(gòu)上，該模型采用了僅解碼器的密集Transformer結(jié)構(gòu)，并通過神經(jīng)架構(gòu)搜索（NAS）算法進(jìn)行了優(yōu)化。其創(chuàng)新之處在于引入了跳躍注意力機(jī)制，在部分層中省略了注意力模塊或替換為簡單的線性層，從而提高了模型的效率。
Nemotron Ultra還采用了前饋網(wǎng)絡(luò)（FFN）融合技術(shù)，將多層FFN合并為更寬但更少的層，進(jìn)一步縮短了推理時(shí)間，同時(shí)保持了卓越的性能。該模型支持高達(dá)128K token的上下文窗口，能夠處理長篇文本，非常適合用于高級(jí)RAG系統(tǒng)和多文檔分析。
在部署效率方面，Nemotron Ultra同樣表現(xiàn)出色。它能夠在單個(gè)8xH100節(jié)點(diǎn)上運(yùn)行推理，顯著降低了數(shù)據(jù)中心的成本，提高了企業(yè)開發(fā)者的可及性。這一突破性的進(jìn)展使得大型語言模型在商業(yè)應(yīng)用中的部署變得更加高效和便捷。
為了進(jìn)一步優(yōu)化模型性能，英偉達(dá)還采取了多階段后訓(xùn)練策略。這包括在代碼生成、數(shù)學(xué)、對話和工具調(diào)用等任務(wù)上進(jìn)行監(jiān)督微調(diào)，以及使用群體相對策略優(yōu)化（GRPO）算法進(jìn)行強(qiáng)化學(xué)習(xí)（RL）。這些措施確保了Nemotron Ultra在基準(zhǔn)測試中表現(xiàn)出色，并且能夠與人類交互偏好高度契合，為用戶帶來更加自然、流暢的體驗(yàn)。
