近日,在斯坦福大學(xué)、華盛頓大學(xué)、Allen AI 和 UMass 聯(lián)合發(fā)起的機(jī)器閱讀理解(QuAC[1] (Choi et al., 2018))比賽上,京東 AI 研究院語(yǔ)音語(yǔ)言實(shí)驗(yàn)室提出的 EL-QA 模型(Single Model)登頂 QuAC Leaderboard,全部三項(xiàng)指標(biāo)均獲得第一名。
其中,在 F1-Measure(又稱為 F1-Score) 指標(biāo)上達(dá)到 74.6,大幅拉近了機(jī)器與人類(lèi)在該任務(wù)上的水平差距。這也意味著以零售、物流、金融、客服等優(yōu)質(zhì)場(chǎng)景為依托的京東 AI 研究院,在機(jī)器閱讀理解能力上取得了突飛猛進(jìn)的成果。
圖 1QuAC 挑戰(zhàn)賽官方成績(jī)榜單(https://quac.ai)
目前,QuAC 是人機(jī)多輪對(duì)話交互領(lǐng)域復(fù)雜度最高的數(shù)據(jù)集,要求模型具備強(qiáng)大的上下文語(yǔ)義理解、指代推理、省略語(yǔ)義恢復(fù)和知識(shí)推理等能力,這也吸引了全球頂級(jí)科研院所和企業(yè)研究機(jī)構(gòu)參加。從結(jié)果來(lái)看,QuAC 具有較高的難度,在這個(gè)數(shù)據(jù)集上目前的最佳 AI 模型的性能距離人類(lèi)表現(xiàn)仍有一定差距,表明在這個(gè)問(wèn)題上技術(shù)還有進(jìn)步的空間。
QuAC 新挑戰(zhàn):更復(fù)雜的數(shù)據(jù)集、更開(kāi)放的問(wèn)題、更貼近真實(shí)場(chǎng)景
機(jī)器閱讀理解能力已成為判斷機(jī)器是否具有自然語(yǔ)言理解(語(yǔ)義理解、閱讀、問(wèn)答等)能力的重要標(biāo)準(zhǔn)。SQuAD[2] (Rajpurkar et al., 2016) 數(shù)據(jù)集的提出極大地推動(dòng)了機(jī)器閱讀理解的研究與發(fā)展。隨著模型在上述單輪問(wèn)答場(chǎng)景超越人類(lèi),更有挑戰(zhàn)的交互式閱讀理解數(shù)據(jù)集,如 CoQA[3] (Reddy et al., 2018) 等,被相繼提出。
相比于眾多交互式閱讀理解數(shù)據(jù)集,QuAC 具有更鮮明的特點(diǎn),也更進(jìn)一步反映了復(fù)雜人機(jī)對(duì)話交互應(yīng)用場(chǎng)景的難度。比如(1)基于答案對(duì)提問(wèn)者不可見(jiàn)的方式構(gòu)造開(kāi)放式問(wèn)題,增大回答難度;(2)增加對(duì)話引導(dǎo)行為(Action)輔助提問(wèn)者調(diào)整提問(wèn)話題,以便高效獲取信息;(3)模擬真實(shí)場(chǎng)景引入不可回答問(wèn)題,增加對(duì)模型理解與判斷能力的要求。
具體而言,該數(shù)據(jù)集是由提問(wèn)者(Student)和回答者(Teacher)針對(duì)某一主題展開(kāi)對(duì)話而構(gòu)建的,提問(wèn)者在只能看見(jiàn)給定主題而不可見(jiàn)主題具體信息的條件下進(jìn)行開(kāi)放式的提問(wèn),回答者針對(duì)問(wèn)題不僅要給出具體回復(fù)(response),并且需反饋對(duì)話引導(dǎo)行為和問(wèn)題是否可回答等信息。
圖 2:QuAC 數(shù)據(jù)集示例
例如,圖 2 展示了提問(wèn)者首先根據(jù)主題 Daffy Duck 進(jìn)行提問(wèn)。回答者會(huì)根據(jù)給定主題相關(guān)信息和交互歷史來(lái)判斷當(dāng)前問(wèn)題所討論的話題是否可繼續(xù)提問(wèn),繼而反饋給提問(wèn)者相應(yīng)的對(duì)話引導(dǎo)行為,包括繼續(xù)當(dāng)前話題(Follow-Up),終止當(dāng)前話題(Don’t Follow-Up)或無(wú)法判斷是否繼續(xù)(Maybe Follow-Up),并最后給出相應(yīng)的答案。
該競(jìng)賽的數(shù)據(jù)構(gòu)造過(guò)程更貼合人們通過(guò)對(duì)話進(jìn)行信息獲取(Conversational Information-Seeking)的真實(shí)場(chǎng)景。例如在零售領(lǐng)域,用戶對(duì)某一商品進(jìn)行開(kāi)放式咨詢,智能客服根據(jù)具體的商品信息對(duì)用戶的提問(wèn)進(jìn)行可回復(fù)性判斷,并給出用戶是否繼續(xù)或改變當(dāng)前咨詢?cè)掝}的引導(dǎo)行為,最終給出自然語(yǔ)言回復(fù)。相對(duì)于傳統(tǒng)的智能客服,這種新的交互方式可以極大地提升用戶的對(duì)話體驗(yàn)和效率。
圖 3:QuAC 與其他機(jī)器閱讀理解數(shù)據(jù)集的多維度對(duì)比
圖 3 給出了 QuAC 與時(shí)下多個(gè)熱門(mén)機(jī)器閱讀理解數(shù)據(jù)集的詳細(xì)對(duì)比,可看出 QuAC 具有最豐富的數(shù)據(jù)特性,要求模型具有更強(qiáng)的上下文語(yǔ)義理解和對(duì)話邏輯推理能力。
京東 AI 研究院 EL-QA 模型斬獲新 SOTA
京東 AI 研究院語(yǔ)音語(yǔ)言實(shí)驗(yàn)室提出的 EL-QA 模型(Single Model)登頂 QuAC Leaderboard,全部三項(xiàng)指標(biāo)均獲得第一名,其中特別是 HEQD(對(duì)話 Session 層面對(duì)比人類(lèi)平均水平的指標(biāo))顯著領(lǐng)先之前最好表現(xiàn)。該結(jié)果的取得主要得益于我們?cè)陉P(guān)鍵技術(shù)上的創(chuàng)新,包括大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型、知識(shí)遷移、多任務(wù)學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、Beam-Search 解碼答案和 Deep Ranking 等。
擁有優(yōu)質(zhì)場(chǎng)景和廣闊應(yīng)用價(jià)值的企業(yè)或機(jī)構(gòu)在本次競(jìng)賽中占據(jù)優(yōu)勢(shì)。本次競(jìng)賽從參賽隊(duì)伍到榜單分布,大多是在智能人機(jī)交互服務(wù)領(lǐng)域有重要相關(guān)業(yè)務(wù)的企業(yè)的實(shí)驗(yàn)室。這也體現(xiàn)出,一方面,科技企業(yè)基于資源優(yōu)勢(shì)正在核心技術(shù)研發(fā)方面走到前沿,而大學(xué)則聚焦于新問(wèn)題新思想新方向的提出和中立的技術(shù)評(píng)價(jià),學(xué)術(shù)界和企業(yè)界形成了良性的緊密合作。另一方面,這也表明,智能人機(jī)對(duì)話交互技術(shù)不僅具有重要的研究?jī)r(jià)值,也有重大的產(chǎn)業(yè)價(jià)值。
企業(yè)的全力加入使得此領(lǐng)域的技術(shù)競(jìng)爭(zhēng)日益激烈,是兵家必爭(zhēng)之地。這次評(píng)測(cè)的對(duì)話式機(jī)器閱讀理解相關(guān)技術(shù)可廣泛應(yīng)用于智能客服、營(yíng)銷(xiāo)導(dǎo)購(gòu)、人機(jī)協(xié)同、AI + 教育等產(chǎn)品中,帶來(lái)效率和體驗(yàn)的直接提升。
據(jù)悉,京東 AI 研究院語(yǔ)音語(yǔ)言實(shí)驗(yàn)室圍繞自然語(yǔ)言處理、語(yǔ)音與聲學(xué)、知識(shí)圖譜、人機(jī)對(duì)話與交互、多模態(tài)信息處理等前沿領(lǐng)域開(kāi)展人工智能技術(shù)研究,近兩年已經(jīng)在國(guó)際頂級(jí)學(xué)術(shù)會(huì)議和期刊上發(fā)表論文 50 多篇,獲得 IEEE Signal Processing Society 等最佳論文獎(jiǎng),在多個(gè)有影響力的國(guó)際競(jìng)賽中獲得冠軍,同時(shí)也承擔(dān)了多項(xiàng)國(guó)家重點(diǎn)研發(fā)計(jì)劃。其研發(fā)的多項(xiàng)前沿技術(shù)也成功轉(zhuǎn)化落地,支撐了京東智聯(lián)云多個(gè)重要產(chǎn)品。此次研發(fā)的對(duì)話式機(jī)器閱讀理解相關(guān)技術(shù)部分已落地到了京東智聯(lián)云智能人機(jī)交互部的商城智能客服、商家智能客服、客戶服務(wù)數(shù)據(jù)分析平臺(tái)、智能寫(xiě)作以及商品知識(shí)圖譜驅(qū)動(dòng)的采購(gòu)大腦等核心產(chǎn)品當(dāng)中。
參考文獻(xiàn)
[1] Choi E, He H, Iyyer M, et al. Quac: Question answering in context[J]. arXiv preprint arXiv:1808.07036, 2018.
[2] Rajpurkar P, Zhang J, Lopyrev K, et al. Squad: 100,000+ questions for machine comprehension of text[J]. arXiv preprint arXiv:1606.05250, 2016.
[3] Reddy S, Chen D, Manning C D. Coqa: A conversational question answering challenge[J]. Transactions of the Association for Computational Linguistics, 2019, 7: 249-266.
