近日，網易伏羲在中文語言理解權威評測基準FewClue榜單登頂，在IFLYTEK(長本文分類 )、 CLUEWSC(代詞消歧）、CSL(論文關鍵詞識別）、CSLDCP(學科文獻分類）等多項單任務中取得第一。這也是FewClue榜單上，第一次有人工智能模型與人類標注水平的差距縮小到10分以內，其中CSLDCP(學科文獻分類）任務首次超過人類水平。
據了解，FewCLUE是CLUE推出的一項中文小樣本學習評測榜單，用來評估預訓練模型是否能夠通過小樣本學習來掌握特定的自然語言處理任務。同時，研究人員也可通過相關測試評估AI模型再學習能力和快速應用能力。而從結果來看，網易伏羲的模型玉言對中文的理解能力，已經接近甚至在部分任務上超過一個受過相關訓練的人類。
更值得一提是，玉言具備的自然語言處理能力可應用于語音助手、智能客服、新聞傳媒、游戲創作、智能決策等領域。而在獲得這些能力背后的模型訓練體系及應用方法則驗證了基于超級模型進行二次訓練和快速應用的可能性。在目標領域通過少量標注樣本極大的提升應用的效果，從而節省大量的人力成本。
人工智能研究的誕生到現在已經有60多年的歷史，近些年的深度學習掀起了人工智能的新一波浪潮。OpenAI 發布的GPT系列模型將自然語言處理水平推向了新的高度，也證明了大規模預訓練的潛力，為智能服務應用場景提供最重要的基石。但是，這些如雨后春筍般涌現的大規模預訓練模型都是以文本生成為導向，在語義理解方面受限于其技術局限，效果不佳。
因此，業界為語義理解任務重新訓練模型，例如BERT、DEBERTA等。文本生成任務和語言理解任務分別訓練，這不僅是對算力和成本的巨大消耗，也不符合當下社會對低碳發展的要求。是否將預訓練生成模型通過少量的二次訓練轉換為理解模型？玉言模型正是基于這個出發點的一次成功嘗試，將生成模型通過少量的二次訓練轉換為高準確度的語義理解模型。更重要的是，這一方法的成功實踐，能有效幫助中小企業降本節能。
據該項目團隊介紹，玉言模型的前身是網易伏羲自研的50億GPT2生成模型，通過二次訓練變成語義理解能力較好的Prefix-LM，相比于原來的GPT2模型，只是attention mask形狀不同，Prefix-LM可以直接使用許多開源的GPT加速庫進行推斷加速。
玉石二次訓練的主要方法包括在Prefix部分增加MLM損失函數，同時使用增強Position Embebedding的方法去進一步強化Prefix部分的編碼效果等。在任務數據集處理方面使用類似于T0的基于模板的方法，將FewClue的數據集在二次訓練時混入訓練語料中。
另外，FewClue提供的無標簽數據同樣被構造模板，處理完成后加入訓練語料中。使用模板的方法可以自然地實現多任務學習，大大降低語義理解大模型的訓練成本，更加有利于工程落地。“同時也非常感謝浪潮共享了他們的部分預訓練文本，為玉言模型訓練提供了充分的數據。”項目團隊相關負責人表示。
網易伏羲成立于2017年，是國內專業從事游戲與泛娛樂AI研究和應用的頂尖機構。網易伏羲已經發表100多篇AI頂會論文，擁有200多項發明專利，以及數字人、智能捏臉、AI創作、AI反外掛、AI推薦匹配、AI競技機器人等多個領域的領先技術。目前，網易伏羲正在向游戲、文旅、文娛等產業開放AI技術及產品，目前已服務超100家客戶，應用日均調用量超數億次。
