近日，商業(yè)信息查詢平臺天眼查披露了一項引人注目的專利授權信息。據(jù)悉，與知名人物Kimi有所關聯(lián)的北京月之暗面科技有限公司，成功獲得了一項名為“一種大語言推理系統(tǒng)及方法”的專利授權。
這項專利的核心內容，圍繞一種創(chuàng)新的大語言推理系統(tǒng)展開。該系統(tǒng)巧妙地融合了多個關鍵組件，包括至少一個預填充計算單元、生成計算單元以及緩存單元，共同協(xié)作以優(yōu)化語言推理過程。
具體而言，預填充計算單元扮演著至關重要的角色。它能夠根據(jù)當前的推理請求以及過往的推理資源，進行智能化的預填充操作，從而生成當前推理所需的數(shù)據(jù)，并將這些數(shù)據(jù)分別傳遞給生成計算單元和緩存單元。
生成計算單元接收到這些數(shù)據(jù)后，便開始發(fā)揮其核心作用。它利用預設的大語言模型，對當前推理數(shù)據(jù)進行深度分析，并據(jù)此生成當前結果字。隨后，這些結果字被進一步加工成完整的推理結果，并發(fā)送至緩存單元存儲，同時，當前結果字也被直接輸出至用戶端，以供查看。
緩存單元在整個系統(tǒng)中同樣不可或缺。它不僅負責保存當前的推理數(shù)據(jù)、推理請求以及推理結果，還能夠根據(jù)推理請求的快速訪問需求，提供高效的數(shù)據(jù)檢索服務，進一步提升了系統(tǒng)的整體性能。
值得注意的是，這項專利所提出的技術方案，旨在顯著減少推理過程中的計算量，從而在保證推理效率的同時，大幅提升推理結果自然語言的流暢性與連續(xù)性。這無疑為人工智能領域的大語言推理技術，帶來了新的突破和發(fā)展方向。
