縱觀人工智能騰飛的這十年，從最初的計(jì)算智能，逐漸發(fā)展成為以計(jì)算機(jī)視覺、智能語音為代表的感知智能階段，隨著科技不斷地在產(chǎn)業(yè)場景中應(yīng)用落地，不斷有人叩問：新一代AI技術(shù)是否能通過“圖靈測試”，達(dá)到“能理解、會思考、有感情”的認(rèn)知智能階段？
人機(jī)交互作為人工智能的重要研究領(lǐng)域，自然語言處理、意圖理解、情緒識別、對話交互和知識推理等一直是其技術(shù)迭代升級的主要組成部分。而其中基于基于深度學(xué)習(xí)的自然語言處理（NLP）研究，在2020年迎來了最繁忙的年份，OpenAI的GPT-3（175B參數(shù)）的參數(shù)量比Microsoft Research的Turing-NLG(17B參數(shù))高出約10倍。
得益于計(jì)算能力的提升、算法框架的優(yōu)化和大數(shù)據(jù)的升級等，NLP研究實(shí)現(xiàn)了廣泛商業(yè)化。而一知智能作為一家專注于人機(jī)交互領(lǐng)域的杭州市領(lǐng)軍型人工智能公司，在首席科學(xué)家趙洲的科研成果支持下，以數(shù)字化謀效率，向數(shù)字化要生產(chǎn)力，致力于為全社會提供高效率的數(shù)字員工，在2021年，也迎來了NLP研究全速發(fā)力的一年。
大型領(lǐng)域預(yù)訓(xùn)練模型
從底層數(shù)據(jù)來看，提升NLP產(chǎn)品及服務(wù)的使用體驗(yàn)，需要貼近真實(shí)使用場景的語料庫作為更加有效的訓(xùn)練素材。
今年，以首席科學(xué)家趙洲老師為核心、算法總監(jiān)姜興華為主導(dǎo)的一知智能算法團(tuán)隊(duì)訓(xùn)練了消費(fèi)對話領(lǐng)域十億級參數(shù)的預(yù)訓(xùn)練語言模型Yiwise-DNLP。基于Yiwise-DNLP模型，全面升級了意圖識別算法、實(shí)體抽取算法、對話生成算法。
Yiwise-DNLP采用transformer的模型結(jié)構(gòu)，同時(shí)對對話理解和對話生成進(jìn)行聯(lián)合建模。使用雙向注意力機(jī)制，模型對上下文充分理解，并采用解碼器使用單向注意力機(jī)制，幫助生成對話內(nèi)容。
Yiwise-DNLP在千億級token語料上訓(xùn)練，模型參數(shù)量高達(dá)十億。模型訓(xùn)練過程使用了多種模型優(yōu)化算法，包括 shareded data parallelism、activation checkpointing、model parallel、pipeline parallel等多種策略。
自學(xué)習(xí)的對話管理系統(tǒng)
對話管理模塊控制著人機(jī)對話的整個(gè)流程，對話管理根據(jù)對話歷史信息，決定此刻對用戶的反應(yīng)。
在首席科學(xué)家趙洲老師的指導(dǎo)下，一知智能算法團(tuán)隊(duì)開發(fā)了基于強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)對話管理系統(tǒng)，能夠?qū)ο到y(tǒng)理解用戶輸入的不確定性進(jìn)行建模，讓算法來自己學(xué)習(xí)最好的行為序列。
一知智能構(gòu)建了用戶模擬器，讓用戶模擬器和對話管理模型進(jìn)行交互，通過目標(biāo)評估模型獲得Action的Reward，從而獲得大量對話管理交互數(shù)據(jù)。利用強(qiáng)化學(xué)習(xí)不斷優(yōu)化。該系統(tǒng)支持自學(xué)習(xí)、可交互學(xué)習(xí)、在線學(xué)習(xí)，從而使得對話管理能夠快速更新，越來越智能。
多模態(tài)情緒識別模型
一知智能使用語音和文本的多模態(tài)神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行對話情緒識別。利用海量數(shù)據(jù)的聊天語料進(jìn)行模型的預(yù)訓(xùn)練。抽取語音特征、文本特征、語音和文本混合特征等多種不同模態(tài)的特征，在海量對話語料上訓(xùn)練情緒識別模型，大幅提高了情緒識別準(zhǔn)確率。不同模態(tài)信息相互補(bǔ)充，可以幫助機(jī)器更好地理解情感。
首席科學(xué)家趙洲認(rèn)為，從人機(jī)交互角度出發(fā)，多模態(tài)情感分析可以使得機(jī)器在更加自然的情況下與人進(jìn)行交互。機(jī)器可以基于圖像中人的表情和手勢，聲音中的音調(diào)，和識別出的自然語言來理解用戶情感，進(jìn)而進(jìn)行反饋。
算法總監(jiān)姜興華說道，AI探索的征程是星辰大海，一知智能作為孜孜不倦的摘星人，致力于在數(shù)據(jù)底層技術(shù)升級的影響下，提升語音識別技術(shù)準(zhǔn)確率，為Al語音識別的商用滲透提供強(qiáng)大的市場驅(qū)動(dòng)力，讓科技的成果在更多應(yīng)用場景落地，讓企業(yè)與員工真正感知數(shù)字員工的價(jià)值。
