蘋果公司近期宣布與英偉達攜手合作，共同推出了一項名為Recurrent Drafter（簡稱ReDrafter）的創新技術，這項技術旨在顯著提升人工智能大語言模型（LLM）的推理速度。這一消息是在12月18日通過蘋果公司的官方博文發布的。
據悉，ReDrafter技術已經成功融入英偉達的TensorRT-LLM推理加速框架中。這一整合使得在英偉達GPU上運行的LLM模型，每秒生成的tokens數量最高可提升2.7倍。這一顯著的性能提升，不僅有效減少了用戶在使用過程中的延遲感受，還大幅度降低了計算成本。
蘋果公司的機器學習專家強調，隨著LLM在生產應用程序中的廣泛應用，提高推理效率已經成為降低計算成本和減少用戶延遲的關鍵因素。ReDrafter技術的推出，正是對這一需求的積極響應。
ReDrafter的核心在于其獨特的RNN草稿模型，該模型結合了波束搜索（beam search）和動態樹注意力（dynamic tree attention）技術。這一創新設計使得開源模型在每一步生成過程中最多可以產生3.5個tokens，從而超越了以往推測性解碼技術的性能表現。
為了將ReDrafter技術應用于實際生產環境，蘋果公司與英偉達展開了深度合作。雙方共同努力，將ReDrafter成功集成到英偉達的TensorRT-LLM框架中。這一合作不僅展現了蘋果與英偉達在技術創新方面的深厚實力，也體現了雙方在推動AI技術發展方面的共同愿景。
為了支持ReDrafter技術的集成，英偉達對其TensorRT-LLM框架進行了多項優化。這包括添加新的運算符以及公開現有運算符，以增強框架對復雜模型和解碼方法的適應能力。這些優化措施為ReDrafter技術的順利應用提供了有力保障。
基準測試結果顯示，在使用集成了ReDrafter的TensorRT-LLM框架的英偉達GPU上，數百億參數規模的生產模型的解碼速度得到了顯著提升，最高可達2.7倍。這一成果不僅顯著降低了用戶體驗延遲，還減少了GPU的使用數量和功耗，從而進一步降低了運營成本。
這一合作成果的發布，標志著蘋果與英偉達在AI技術領域的合作邁出了重要一步。未來，雙方將繼續攜手共進，共同推動AI技術的創新與發展，為更多用戶提供更加高效、智能的服務。
