人工智能領域的進步持續推動著大型語言模型（LLM）的應用邊界，然而，傳統的自回歸生成方式因其逐個生成token的低效過程和對并行計算能力利用不足而面臨挑戰。近期，卡耐基梅隆大學與英偉達攜手，推出了一種名為Multiverse的新型生成模型，這一創新旨在顛覆現有的LLM推理模式，實現真正的并行生成。
Multiverse不僅僅著眼于提升生成速度，更是從根本上重新設計了模型的架構。研究團隊洞察到主流大語言模型在生成過程中隱含的并行性潛力，并據此構建了Multiverse框架。該框架借鑒了MapReduce的設計理念，將生成流程細分為任務自適應分解、子任務并行執行及結果無損合并三大階段。這一精心設計的流程確保了計算資源的最大化利用，顯著提升了推理效率。
實驗數據揭示了Multiverse模型的顯著優勢。在相同上下文長度下，Multiverse-32B模型相較于自回歸模型，性能提升了近2%。更令人矚目的是，Multiverse在擴展性方面表現出色，能夠在不同批量大小下實現最高兩倍的速度增益。為了促進這一成果的廣泛傳播與應用，研究團隊慷慨地開源了Multiverse生態系統，涵蓋了數據資源、模型權重及訓練細節，為其他研究者提供了寶貴的探索基礎。
在實際部署中，Multiverse展現出極高的靈活性。它能夠根據具體的生成需求進行動態調整，并通過一種專門設計的控制標簽，在順序生成與并行生成之間自如切換，確保了生成內容的連貫性和邏輯嚴謹性。這一技術的問世，無疑為自然語言處理領域帶來了全新的視角和可能，預示著該領域即將迎來又一輪的創新浪潮。
