近日，人工智能國(guó)際聯(lián)合會(huì)議IJCAI2020受疫情影響延期后，順利在線上舉行。IJCAI(International Joint Conference on Artificial Intelligence)始于1969年，現(xiàn)為每年一次，學(xué)術(shù)水平和影響力極高，受到全球?qū)W術(shù)界和產(chǎn)業(yè)界高度關(guān)注。據(jù)知，IJCAI2020是史上最難的一屆，論文接受率12.6%創(chuàng)歷史最低；其中，百度不僅貢獻(xiàn)多篇優(yōu)質(zhì)論文，涵蓋眾多前沿領(lǐng)域，更有線上展臺(tái)技術(shù)講座，分享交流最新的學(xué)術(shù)突破。值得一提的是，百度研究院量子計(jì)算研究所所長(zhǎng)段潤(rùn)堯還在會(huì)上發(fā)表了以量子計(jì)算為主題的精彩演講。百度所取得的AI技術(shù)突破和創(chuàng)新將助力人機(jī)交互、對(duì)話智能、智慧醫(yī)療、智慧零售、搜索廣告等場(chǎng)景的落地應(yīng)用，推動(dòng)全球人工智能不斷進(jìn)步和發(fā)展，同時(shí)譜寫屬于中國(guó)的“AI樂章”。
以下為百度IJCAI2020之行的亮點(diǎn)總結(jié)。
1、基于事件圖譜的通順開放域多輪對(duì)話內(nèi)容規(guī)劃
Enhancing Dialog Coherence with Event Graph Grounded Content Planning
如何生成信息豐富、連貫且可持續(xù)的開放域?qū)υ捠且豁?xiàng)非常困難的任務(wù)。以往基于知識(shí)的對(duì)話生成的研究工作側(cè)重于提高對(duì)話的信息豐富度，而對(duì)多輪對(duì)話的連貫性關(guān)注較少。為了增強(qiáng)多輪對(duì)話的連貫性，百度提出利用敘事事件鏈來(lái)幫助確定多輪對(duì)話的框架/主干。具體而言，首先從敘事文本中提取事件鏈，并將它們連接成一個(gè)圖，稱之為事件圖。然后，提出一種基于事件圖的強(qiáng)化學(xué)習(xí)框架用于連貫的多輪對(duì)話生成。它通過學(xué)習(xí)遍歷事件圖來(lái)進(jìn)行宏觀回復(fù)內(nèi)容（簡(jiǎn)單地說是事件）規(guī)劃，然后根據(jù)規(guī)劃的內(nèi)容生成回復(fù)句。特別地，百度設(shè)計(jì)了一種新穎的多策略決策機(jī)制，以促進(jìn)多輪連貫的對(duì)話生成。實(shí)驗(yàn)結(jié)果表明，該框架可以有效提升多輪對(duì)話連貫性和信息豐富度。
2、ERNIE-GEN：一種增強(qiáng)的多流自然語(yǔ)言生成預(yù)訓(xùn)練和精調(diào)框架
ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation
2020年1月，百度發(fā)布基于多流機(jī)制生成完整語(yǔ)言片段的 ERNIE-GEN 語(yǔ)言生成預(yù)訓(xùn)練技術(shù)。與傳統(tǒng) “encoder-decoder”生成框架采用逐字符生成不同，ERNIE-GEN 率先引入了 Span-by-Span 生成方式，可以在預(yù)測(cè)中一次生成完整的實(shí)體等語(yǔ)義片段，并通過創(chuàng)新的 Multi-flow Attention 機(jī)制進(jìn)行多流聯(lián)合學(xué)習(xí)。同時(shí)，針對(duì)傳統(tǒng)序列生成中面臨的曝光偏差問題，ERNIE-GEN 提出了 in-filling 填充式生成和噪音感知機(jī)制，以減少訓(xùn)練過程和解碼生成的差異，提高了下游應(yīng)用任務(wù)的生成效果。ERNIE-GEN 在較小訓(xùn)練數(shù)據(jù)規(guī)模下，在摘要生成（Gigaword、CNN/Daily Mail）、問題生成（SQuAD 1.1）、對(duì)話生成（Persona-Chat）、生成式問答（CoQA）等英文權(quán)威任務(wù)集合超越 Google、Facebook、微軟等取得 SOTA。
3、基于圖卷積網(wǎng)絡(luò)和雙向注意力機(jī)制的電子病歷自動(dòng)診斷算法
The Graph-based Mutual Attentive Network for Automatic Diagnosis
基于電子病歷（EMR）的自動(dòng)診斷技術(shù)是近幾年非常熱門的自然語(yǔ)言處理研究方向之一。然而，傳統(tǒng)的自動(dòng)診斷算法大多采用時(shí)序模型，忽略掉了病歷當(dāng)中的實(shí)體之間所包含的非常重要的圖結(jié)構(gòu)信息。為此，百度利用大規(guī)模高質(zhì)量真實(shí)病歷挖掘出了一個(gè)由醫(yī)學(xué)實(shí)體節(jié)點(diǎn)和疾病節(jié)點(diǎn)所構(gòu)成的醫(yī)療圖譜，并在這個(gè)圖譜基礎(chǔ)之上利用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）來(lái)建模病歷當(dāng)中的圖結(jié)構(gòu)信息。除此之外，還通過一個(gè)雙向的注意力機(jī)制模擬醫(yī)生看病的流程，按序分別強(qiáng)化了病歷實(shí)體和文本當(dāng)中的重要信息，提升了模型的準(zhǔn)確率和可解釋性。該模型已被應(yīng)用至中國(guó)超過百家基層醫(yī)療機(jī)構(gòu)的信息系統(tǒng)中，以提升醫(yī)生看病的效率和降低漏診和誤診的概率。
4、從知其然到知其所以然：用戶決策畫像助力到店行為的可解釋推斷
Why We Go Where We Go: Profiling User Decisions on Choosing POIs
興趣點(diǎn)（Point-of-Interest, POI）推薦一直是學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)，但在理解用戶到店決策的背后原因方面，取得的進(jìn)展十分有限。針對(duì)該問題，百度提出一種用戶決策畫像方法ProUD，用于識(shí)別用戶在選擇要到訪的POI時(shí)背后的關(guān)鍵驅(qū)動(dòng)因素。在此基礎(chǔ)上，將用戶決策用集合表征的方式進(jìn)行建模，通過最大化所有關(guān)聯(lián)決策因素在關(guān)鍵因素表征向量上的標(biāo)量投影和，從而在有效保留了完整決策結(jié)構(gòu)信息的同時(shí)，達(dá)到識(shí)別關(guān)鍵決策因素的目的。實(shí)驗(yàn)結(jié)果證實(shí)ProUD在推斷用戶到店任務(wù)上顯著優(yōu)于傳統(tǒng)方法。同時(shí)，案例分析也表明了識(shí)別到的關(guān)鍵因素能夠幫助提升推斷結(jié)果的可解釋性。
5、利用內(nèi)部記憶力機(jī)制來(lái)輔助無(wú)監(jiān)督場(chǎng)景遷移
Unsupervised Scene Adaptation with Memory Regularization in vivo
實(shí)際場(chǎng)景中有很多source domain的數(shù)據(jù)（比如游戲生成的模擬數(shù)據(jù)）有著標(biāo)簽，但是拿去實(shí)際場(chǎng)景預(yù)測(cè)，往往模型由于domain gap表現(xiàn)得不好。Domain Gap是多方面的，有因?yàn)椴煌鞖狻⒉煌鞘小⒉煌庹盏鹊扔绊憽Ｋ源蠖鄶?shù)domain adaptation 方法研究的是如何盡可能挖掘常識(shí)，采用了很多特征對(duì)齊的方法，但是忽略了本身域內(nèi)部的信息。本文中，百度提出一個(gè)即插即用的memory regularization 正則項(xiàng)來(lái)讓模型學(xué)intra-domain knowledge，在三個(gè)benchmark上都有了明顯提升。
6、樣例指導(dǎo)的神經(jīng)對(duì)話生成
Exemplar Guided Neural Dialogue Generation
人類往往可以從過往的經(jīng)驗(yàn)中受益，類似地，在對(duì)話生成任務(wù)中，訓(xùn)練集中的樣例信息也能夠幫助模型生成更有意義的對(duì)話回復(fù)。然而，如何有效地挖掘并利用此類樣例信息仍是一個(gè)亟待解決的問題。有效的對(duì)話樣例不僅要求其在字面上與當(dāng)前給定的輸入上文相似，而且應(yīng)該在內(nèi)容主題上也與給定的對(duì)話保持一致。訓(xùn)練集中存在的噪聲樣例不僅妨礙模型正確地理解上下文，也會(huì)誤導(dǎo)對(duì)話回復(fù)的生成。百度提出一種樣例指導(dǎo)的對(duì)話模型以更為有效地挖掘和利用訓(xùn)練集中隱含的樣例信息。其中，對(duì)話樣例經(jīng)由兩階段的檢索過程得到，以保證其在文本語(yǔ)義和對(duì)話主題這兩方面均具有較高的相關(guān)性。為了使得對(duì)話生成模型更加有效地利用檢索到的樣例信息，百度進(jìn)一步提出了一種多源采樣的回復(fù)解碼策略以充分融合所給定的樣例信息。實(shí)驗(yàn)結(jié)果表明，該文方法在對(duì)話回復(fù)質(zhì)量上相較以往模型有顯著提升。
7、一種求解線性高維contextual bandits問題的高效魯棒算法
Efficient and Robust High-Dimensional Linear Contextual Bandits
Linear contextual bandits是一個(gè)經(jīng)典的強(qiáng)化學(xué)習(xí)序列決策問題，其中agent不斷在K個(gè)action中選擇一個(gè)，和環(huán)境交互，并得到環(huán)境給與的獎(jiǎng)勵(lì)，這里假設(shè)獎(jiǎng)勵(lì)和狀態(tài)向量之間是個(gè)線性的關(guān)系。該問題的目標(biāo)是優(yōu)化一段固定的時(shí)間周期之內(nèi)的累積收益，這種建模方法在個(gè)性化推薦和計(jì)算廣告中都有非常廣泛的應(yīng)用。由于大型的數(shù)據(jù)集越來(lái)越普遍，百度主要研究高維情形下的linear contextual bandits問題。當(dāng)前已有的研究工作主要是使用matrix sketching的方式來(lái)加速問題求解，但是這樣會(huì)在regret bound估計(jì)中帶來(lái)額外的新的誤差項(xiàng)。百度提出一種新穎的基于高頻譜補(bǔ)償?shù)膍atrix sketching方法，并基于此方法來(lái)近似bandits問題中的協(xié)方差矩陣來(lái)加速最終問題的求解。該方法在每一輪計(jì)算中只需要O(md)的空間和更新時(shí)間，其中d是數(shù)據(jù)的維數(shù)，而m是sketching的大小。理論分析發(fā)現(xiàn)，在高維的情形下，我們的方法比之前的方法有更好的regret bound估計(jì)，我們的數(shù)值實(shí)驗(yàn)也印證了這一結(jié)論。
8、一種保持外貌特征的人像姿態(tài)編輯與生成模型
Generating Person Images with Appearance-aware Pose Stylizer
在大規(guī)模圖文內(nèi)容生成任務(wù)中，市場(chǎng)需要機(jī)器學(xué)習(xí)算法和模型扮演一種媒體智能(Media Intelligence) 角色。在許多生成問題上，由于各種原因限制用戶需求，需要將給定的人像變換一種形體姿態(tài)作為展示，并且保持人物形象、外貌特征、和穿著不變。百度研究了在給定人物肖像圖片、原始姿態(tài)標(biāo)簽、以及目標(biāo)姿態(tài)標(biāo)簽的情況下，根據(jù)目標(biāo)姿態(tài)標(biāo)簽，生成人像的深度學(xué)習(xí)模型。該模型擁有兩個(gè)部分 (a）Appearance Encoder: 能夠?qū)⑷宋镄は窀鶕?jù)其姿態(tài)標(biāo)簽進(jìn)行面向體貌、穿著的特征編碼，以及 (b）Appearance-aware Pose Stylizer (APS): 能夠?qū)Ⅲw貌、穿著特征重新根據(jù)目標(biāo)姿態(tài)標(biāo)簽解碼成為人像圖片。該算法模型的核心難點(diǎn)是如何在訓(xùn)練中將體貌、穿著特征與人像的姿態(tài)分離 (disentangle)。本文提出的算法與模型在多個(gè)數(shù)據(jù)集上取得了優(yōu)秀的成果。其姿態(tài)編輯出來(lái)的圖片幾乎人眼不可辨別真?zhèn)危⒛軌虮Ｓ性贾腥讼竦拇罅匡L(fēng)格要素。
9、展臺(tái)技術(shù)講座：同義變換在搜索廣告匹配中的角色
主題：The Role of Synonymous Transformation in Sponsored Search
關(guān)鍵詞匹配是整個(gè)搜索廣告系統(tǒng)中至關(guān)重要的一環(huán)，它和廣告匹配產(chǎn)品直接相關(guān)，位于整個(gè)廣告系統(tǒng)的最上游，負(fù)責(zé)將用戶的query和廣告主購(gòu)買的拍賣詞按照指定的匹配模式連接起來(lái)。一般的搜索引擎提供了精確，短語(yǔ)和智能三種匹配模式。同義變換的第一個(gè)重要角色就是要完成精確匹配下的同義變體拍賣詞的檢索。由于query和拍賣詞之間的同義關(guān)系極其稀少，傳統(tǒng)的觸發(fā)方法在這種情形下非常低效。另外，極高的準(zhǔn)確率要求和海量的拍賣詞規(guī)模也是在現(xiàn)實(shí)工業(yè)環(huán)境中迫切需要克服的難題。這次講座中，百度討論了如何將概念符號(hào)推理技術(shù)和深度學(xué)習(xí)模型相結(jié)合來(lái)做同義變換，如何將符號(hào)推理、對(duì)抗訓(xùn)練以及抗噪學(xué)習(xí)等技術(shù)引入到ERNIE模型的領(lǐng)域微調(diào)中來(lái)增強(qiáng)同義判別模型的效果。最后，百度展示了一些同義變換在搜索匹配廣告中的典型應(yīng)用，比如query的歸一化、拍賣詞的壓縮、商索引等等。這些方法在百度的搜索匹配廣告中已經(jīng)成功落地，在收入增長(zhǎng)的同時(shí)，廣告匹配質(zhì)量也有了大幅的提升，希望這些方法能夠?qū)I(yè)界搜索廣告系統(tǒng)的設(shè)計(jì)帶來(lái)新的思考。
10、 工業(yè)演講：百度量子平臺(tái)：邁向量子人工智能
主題：Baidu Quantum Platform: Towards Quantum Artificial Intelligence
人工智能已是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力，量子計(jì)算成為備受矚目的前沿技術(shù)領(lǐng)域，二者的融合孕育出新的研究方向：量子人工智能。百度研究院量子計(jì)算研究所所長(zhǎng)段潤(rùn)堯博士發(fā)表了題為“Baidu Quantum Platform: Towards Quantum Artificial Intelligence”的演講。在演講中，段潤(rùn)堯博士重點(diǎn)闡述了百度量子的QAAA戰(zhàn)略規(guī)劃，包含三個(gè)核心研究方向：量子人工智能 (Quantum AI)，量子算法 (Quantum Algorithm) 和量子架構(gòu) (Quantum Architecture)。
基于QAAA規(guī)劃，百度量子研發(fā)了以量脈、量槳、量易伏三個(gè)產(chǎn)品為主體的百度量子平臺(tái)。其中，量槳是基于百度飛槳研發(fā)的量子機(jī)器學(xué)習(xí)工具集，建立起人工智能與量子計(jì)算之間的橋梁。量槳旨在探索量子人工智能的更多可能性，此次重點(diǎn)升級(jí)了自研高性能模擬器，支持常規(guī)電腦上模擬20+量子比特的運(yùn)算，助力研發(fā)人員高效開發(fā)量子人工智能應(yīng)用。此外，新上線的量槳官網(wǎng)qml.baidu.com提供了豐富的教程與案例助力開發(fā)者的入門與學(xué)習(xí)。圍繞百度量子平臺(tái)，百度旨在構(gòu)建開放、可持續(xù)的百度量子生態(tài)，為量子計(jì)算領(lǐng)域的發(fā)展和繁榮貢獻(xiàn)力量，最終實(shí)現(xiàn)“人人皆可量子”的美好愿景。
