近日，科大訊飛股份有限公司在技術創新領域再次邁出重要一步，一項名為“大模型評估方法、裝置、設備、系統及程序產品”的全新專利被正式公布。這一專利的公布，標志著科大訊飛在大模型評估技術上取得了新的突破。
據悉，該專利的核心在于提出了一種多維度的大模型評估方法。該方法首先通過目標大模型進行問答，獲取對話數據。隨后，利用問答對話之間的邏輯關系，系統能夠自動抽取對話指令，并對這些指令進行打分，得到第一得分。同時，系統還會提取問答對話中的答案信息，并與前序答案信息進行對比，以評估答案的一致性和連貫性，從而得到第二得分。該方法還引入了答案信息的回復質量評價，進一步得到第三得分。
最終，這三個得分將被綜合起來，形成一個目標得分，用于全面評估目標大模型的性能。這一評估過程不僅實現了自動化，還針對多輪次對話的特點進行了多維度的指標配置，從而能夠更準確地反映大模型的實際表現。相較于傳統的人工評估方式，這一方法能夠大幅降低人工參與度，減少因個人主觀判斷帶來的偏差，提高評估的準確性和客觀性。
科大訊飛作為人工智能領域的領軍企業，一直致力于推動技術創新和應用落地。此次公布的專利，不僅展現了科大訊飛在大模型評估技術上的深厚積累，也為其在未來的人工智能競爭中增添了新的籌碼。隨著技術的不斷發展和完善，相信科大訊飛將繼續在人工智能領域發揮引領作用，為行業帶來更多創新和突破。
