歷經3個月的激烈角逐,2021語言與智能技術競賽于近日發布了競賽結果的榜單。本次競賽由中國計算機學會(CCF)和中國中文信息學會(CIPS)聯合主辦,百度公司、中國計算機學會自然語言處理專委會和中國中文信息學會評測工作委員會共同承辦。比賽將在第六屆“語言與智能高峰論壇”上舉辦技術交流和頒獎,獲勝團隊將分享總計30萬元人民幣的獎金。屆時,論壇還將邀請國內外學術界、工業界知名專家學者,面向社會公眾介紹語言與智能及相關領域的發展趨勢和創新成果。
2018年至今,該競賽已經成功舉辦了三屆。今年競賽設立了來源于真實應用需求的三大任務——機器閱讀理解、多技能對話、多形態信息抽取,采用的數據集均來源于中文開源數據集項目“千言”。同時,在競賽結束后,“千言”將持續提供本次競賽的數據集下載和常規評測,支持自然語言處理領域的研究者、開發者的日常技術研發工作。
三千余支隊伍激烈角逐超往年 覆蓋廣泛競技水平高
據統計,本屆競賽三大任務賽題共有超過4300人次、3500支隊伍報名參加,累計收到有效提交結果1萬多次。
本屆競賽的三大賽題——機器閱讀理解、多技能對話、多形態信息抽取較往年賽題在難度上全面升級,覆蓋了更多的數據集和更加豐富的評測維度,對模型的魯棒性和泛化性等提出了更高的挑戰。盡管難度提升,根據比賽報名及提交情況來看,單任務參賽及提交隊伍較往屆數量反而提升、參賽熱情不減。
從參賽隊伍分布看,比賽延續了參賽隊伍一貫的多元化特點,大部分985、211高校均有參與,包括清華大學、北京大學、復旦大學、中國人民大學等知名高校,還有慕尼黑工業大學、南洋理工大學、早稻田大學、愛丁堡大學等國際學府。除了國內外多所高校、科研機構等的積極參與之外,本屆比賽中企業參賽隊伍達到五百多支,體現了產業界對于前沿NLP中文任務的關注和重視。參賽企業覆蓋了互聯網、AI、通訊、金融、能源、航空航天等多個領域,包含騰訊、華為、阿里、網易、頭條、中國移動、平安等知名企業。
從提交結果來看,本屆競賽也在三大賽題的得分上取得了新突破。如機器閱讀理解任務F1最高得分為69.41,較基線提升22.87%;多技能對話系統總得分從基線0.60提升到最好成績的1.17;多形態信息抽取任務綜合最高得分為79.481,較基線提升19.12%。其中,企業隊伍也展現了不俗的競賽實力,在三大賽題榜單上成績亮眼。
近日,2021語言與智能技術競賽已于官網公布獲獎榜單。未來將在第六屆“語言與智能高峰論壇”上舉辦頒獎儀式,屆時獲獎隊伍也會進行技術交流報告,對優秀技術方案進行解讀。
機器閱讀理解任務榜單
多技能對話任務榜單
多形態信息抽取任務榜單
從真實應用需求出發 三大賽題攜手千言實現“反哺”式創新
理解和運用自然語言是人工智能的核心問題之一,語言智能的發展將推動人工智能技術加快落地。本屆競賽設立的三大任務——機器閱讀理解、多技能對話、多形態信息抽取均源于真實應用需求,每項任務設置了更加豐富的數據集合和評測維度,可以從多任務、魯棒性和泛化性等角度對技術效果進行綜合評價,從而推動技術更好地適應多領域、多場景的產業應用。
本次語言與智能技術競賽所采用的數據集均來自于中文開源數據集項目“千言”。作為面向自然語言理解和生成任務的中文開源數據集合,“千言”旨在為研究人員帶來一站式的數據集瀏覽、整理、下載和評測的科研體驗。在本次比賽結束后,自然語言處理領域的研究者、開發者可通過“千言”官網(https://luge.ai)繼續下載和使用相關數據集,并參與相應的常規評測,不斷打磨和提升相關任務的技術水平,形成創新閉環。
百度全程提供技術支持 AI硬實力為大賽選手“保駕護航”
為了全力創造最佳競賽條件,充分激發選手的創新靈感,百度作為本次大賽承辦方為參賽選手提供了全面的技術資源和平臺支持。
其中,百度飛槳平臺為三大競賽任務提供了基線系統,助力選手快速上手。同時,基于百度飛槳的人工智能學習與實訓社區 AI Studio還提供了在線編程環境、免費 GPU算力支持,打破算力桎梏,在競賽全流程為選手斬獲佳績“保駕護航”。
一直以來,百度以持續深耕的核心AI能力為各行各業賦能,助力中國產業智能化轉型升級。連續三屆與學界、業界共同舉辦語言與智能技術競賽,百度希冀能夠進一步挖掘和培養AI技術人才,同時為技術在實際產業場景中的落地和應用提供更多新思路與可能,為人工智能技術與產業的發展貢獻不竭源動力。