人工智能自然語言處理領域的開放域問答技術在智能搜索、智能助手、智能客服等多個場景下，都發(fā)揮著重要作用。特別是近些年，隨著各種智能手機、智能音箱的普及，智能搜索快速進化，可以幫助用戶在這些小屏和無屏設備上更快速、準確的獲取有用信息。
近日，百度提出RocketQA，一種面向端到端問答的檢索模型訓練方法，助力機器問答理解技術邁出突破一步，推動了智能問答領域技術發(fā)展。該方法不僅在多個問答相關數(shù)據(jù)集中取得了當前最佳結果，同時也超越谷歌、微軟、臉書、阿里、美團、卡內基梅隆大學、清華大學等企業(yè)和高校，問鼎微軟MSMARCO數(shù)據(jù)集段落排序任務榜首。
（微軟MSMARCO數(shù)據(jù)集排行榜截圖）
據(jù)了解，微軟MSMARCO數(shù)據(jù)集是微軟提出的大規(guī)模的面向問答的數(shù)據(jù)集，不僅規(guī)模大，而且貼近真實場景，包含約100萬問題、880萬相關段落以及人工標注的問題答案。RocketQA在其中的脫穎而出，正顯示了百度在模型檢索能力方面的領先實力。
百度RocketQA訓練方法是一種對偶式檢索模型增強訓練方法，并基于百度自研的語義理解技術與平臺文心（ERNIE）進行訓練，大幅提升了對偶式檢索模型的效果。所謂對偶式檢索模型，是一種區(qū)別于傳統(tǒng)的檢索模型的基于深度語義表示的模型，能夠利用強大的網(wǎng)絡結構進行更深層次的學習，同時基于預訓練語言模型，使語義理解更加豐富。然而在檢索問答場景上，該模型的表現(xiàn)仍有欠缺，其訓練仍然存在著，諸如訓練場景和預測場景中樣本數(shù)量差異較大、數(shù)據(jù)集中存在大量漏標注的正確答案、人工標注訓練數(shù)據(jù)相對規(guī)模小成本大等問題和挑戰(zhàn)。
針對對偶式檢索模型訓練中存在的問題和挑戰(zhàn)，百度RocketQA通過跨批次負采樣（cross-batch negatives）、去噪的強負例采樣（denoised hard negative sampling）與數(shù)據(jù)增強（data augmentation）等3項技術，解決了上述問題和挑戰(zhàn)，從而使得對偶式檢索模型效果大幅提升。在實現(xiàn)RocketQA的過程中，這3項技術處于層層遞進的關系，最終合成一套。同時，實現(xiàn)過程中還使用了百度文心（ERNIE）初始化模型參數(shù)。
實驗結果也顯示，RocketQA在微軟MSMARCO和谷歌Natural Question數(shù)據(jù)集的效果均大幅超過了已經(jīng)發(fā)表的最好的檢索模型。同時在答案抽取任務上，百度RocketQA檢索結果的有效性也得以驗證。
（RocketQA在微軟MSMARCO和谷歌Natural Questions數(shù)據(jù)集上段落檢索的效果）
此外，百度RocketQA的提出，更代表著向實現(xiàn)“端到端問答”邁出的重要一步。不同于傳統(tǒng)的級聯(lián)式問答系統(tǒng)，“端到端問答”摒棄了傳統(tǒng)系統(tǒng)中繁雜的構件，系統(tǒng)復雜性大大降低，并且其中每個模塊（段落檢索和答案定位）都是可學習的，這樣的設計能夠讓整個系統(tǒng)實現(xiàn)端到端訓練。從而能夠基于用戶實時的反饋實現(xiàn)在線訓練，而不是只在封閉的數(shù)據(jù)集上閉門造車。正是基于上述優(yōu)異性，端對端回答成為智能問答技術的發(fā)展趨勢，甚至可能會引發(fā)問答系統(tǒng)的新一代技術變革。而百度RocketQA正是面向端對端回答方向，在優(yōu)化解決對偶式檢索模型訓練中存在的，諸如訓練、預測場景樣本數(shù)量差異較大，人工標注規(guī)模小、成本高等問題之后，并取得MSMARCO榜首的好成績，為“端對端回答”攻下一城。
實際上，在研發(fā)算法的過程中，高性能的并行訓練也必不可少，它是研發(fā)人員快速嘗試各種想法的利器。百度RocketQA的實現(xiàn)即完全基于飛槳深度學習框架。據(jù)相關資料顯示，百度研究人員在使用飛槳分布式訓練API（paddle.distributed.fleet）進行訓練的同時，也采用了飛槳分布式訓練擴展工具FleetX。前者是百度飛槳新API體系下的通用分布式訓練API，其提供的經(jīng)典數(shù)據(jù)并行訓練方案能夠大幅提升試驗效率；后者是百度飛槳框架分布式訓練擴展工具，提供數(shù)據(jù)分片并發(fā)下載、快速定義模型、快速提交集群任務等功能，能夠實現(xiàn)了研發(fā)人員的使用效率的極大提升。
（百度飛槳全景圖）
目前，RocketQA已逐步應用在百度搜索、廣告等核心業(yè)務中，并將在更多場景中發(fā)揮作用。以百度搜索為例，可以感受一下問答技術在實際應用中對于用戶體驗的改變。比如，當我們在使用搜索引擎查詢問題時，總是期望能第一時間得到更精準的回應。如果說傳統(tǒng)的搜索總是給出可能的十條鏈接作為回答，那么，基于問答技術，問答結果得以優(yōu)化，答案界面正在發(fā)生這樣的變化：唯一的精準答案被直接給出，信息的獲取更快速準確。
（百度搜索的TOP1結果：將問題的答案展現(xiàn)在搜索結果的首位，提升用戶體驗）
正如上圖所顯示，當我們在百度搜索框輸入諸如“佩奇是公豬還是母豬”的問題后，界面第一條即會已卡片形式直接給出“女生”的答案，第二條開始才是之前所熟悉的鏈接形式。這樣一來，問與答之間的效率會大幅提升，用戶能夠第一時間得到自己想要的答案，從而提升用戶使用體驗。在有了RocketQA的大規(guī)模應用后，百度搜索的TOP1結果會更好。
