【ITBEAR科技資訊】5月10日消息，SuperCLUE中文通用大模型綜合性評測基準正式發布。該基準旨在針對中文可用的通用大模型，使用多個維度能力進行測試，評估這些模型在不同任務上的效果情況，并與國際上的代表性模型進行比較。
據了解，該評測榜單分為總榜單、基礎能力榜單、中文特性榜單三個部分。其中，基礎能力榜單包括了常見的有代表性的模型能力，如語義理解、對話、邏輯推理、角色模擬、代碼、生成與創作等10項能力。專業能力榜單則涵蓋了中學、大學與專業考試，共計50多項能力。中文特性榜單則針對有中文特點的任務，包括了中文成語、詩歌、文學、字形等10項多種能力。
據ITBEAR科技資訊了解，首次公布的榜單顯示，近期發布的星火認知大模型在國內大模型中表現最佳，總分達到53.58分。相較于GPT-4，星火認知大模型的差距達到23個百分點，在總分上與GPT-3.5-turbo相比也有13個百分點的差距。
訊飛星火認知大模型在對話、百科知識、角色模擬、計算能力、語義理解、邏輯推理方面，已經達到GPT 3.5平齊的水準。在語義理解方面，訊飛星火認知大模型甚至得到了100分的滿分，超過了GPT-4。
該評測榜單的發布對于中國大模型的發展具有重要意義，它為評估中文通用大模型提供了重要的參考，同時也為模型的改進提供了指導。在未來，相信中國大模型將繼續迎來發展，并在不斷提高性能的同時，應用于更多領域，為各行各業的人們帶來更好的服務。
