近期，一項名為Fast-dLLM的突破性技術橫空出世，由英偉達攜手香港大學及麻省理工學院的研究團隊共同研發，其目標直指提升擴散語言模型在文本生成上的推理效率。與以往的自回歸模型相比，擴散語言模型通過逐步“凈化”文本噪聲的方式產出內容，能夠在單次迭代中同時生成多個詞匯，從而在理論上實現了更高的效率。然而，實踐中開源的擴散語言模型在推理速度上仍難以匹敵自回歸模型，主要歸因于鍵值（KV）緩存支持的缺失及并行解碼時文本質量的下滑。
KV緩存技術，作為自回歸模型加速推理的得力助手，通過存儲并復用先前的注意力狀態，大幅削減了重復計算的開銷，進而加速了文本生成。然而，擴散語言模型因采用雙向注意力機制，使得KV緩存的直接應用變得棘手。而Fast-dLLM技術的創新點，在于它將文本生成流程切割成多個包含固定數量詞匯的“塊”。這一分塊策略允許模型在生成某一特定塊之前，預先計算并存儲其他塊的KV緩存，有效規避了重復計算的問題。
盡管KV緩存機制顯著提升了推理速度，但在并行解碼過程中，文本質量往往會受到影響。這源于擴散模型在解碼時對條件獨立性的假設，而實際中詞匯間可能存在著復雜的相互依賴。針對這一挑戰，Fast-dLLM提出了基于置信度的并行解碼方案。在解碼的每一步中，模型會評估每個詞匯的置信度，并僅選擇置信度超過預設閾值的詞匯進行解碼。這一策略在確保高置信度的前提下，安全地推進并行解碼，從而保障了生成文本的連貫與準確。
為了驗證Fast-dLLM的實際表現，研究團隊在NVIDIA A100 80GB GPU上對LLaDA和Dream兩款擴散語言模型進行了全面評估，測試場景涵蓋了數學推理與代碼生成等多個領域。在KV緩存機制的測試中，當塊大小設置為32時，模型的吞吐量達到了54.4詞匯/秒，準確率維持在78.5%。而在并行解碼測試中，采用動態閾值策略的表現優于固定詞匯數基線的表現。具體來說，LLaDA模型在GSM8K任務中，僅依靠KV緩存就實現了3.2倍的加速，結合并行解碼則進一步提速2.5倍，兩者并用時速度提升高達8.1倍；在生成長度為1024的文本時，端到端的加速效果更是驚人，達到了27.6倍。所有測試均顯示，Fast-dLLM在顯著提升速度的同時，保持了文本生成質量的穩定。
