日前，2021全球頂級語音大會INTERSPEECH論文投稿收錄結(jié)果揭曉。繼去年5篇入選后，騰訊英語君憑借在“口語評測發(fā)音分”、“口語評測魯棒性”等方面獲得的重大研究突破和技術(shù)落地，今年共有9篇論文入選。本次入選論文的研究方向涵蓋口語評測發(fā)音、音素錯誤檢測、口語評測魯棒性、口語評測韻律、口語評測場景下的語音識別等。
INTERSPEECH是由國際語音通訊協(xié)會創(chuàng)辦的語音信號處理領(lǐng)域的頂級科技盛會，歷屆INTERSPEECH會議都受到了全球各地語言領(lǐng)域人士的廣泛關(guān)注。騰訊英語君的論文連續(xù)被這一國際頂級盛會所收錄，也證明其在AI語音科研領(lǐng)域強大的創(chuàng)造力與實力。
深入探索口語評測功能成果顯著 對應(yīng)更多英語教育場景
在本次入選的9篇論文中，論文《Deep feature transfer learning for automatic pronunciation assessment》提出了一種自動發(fā)音評估的遷移學(xué)習(xí)方法，直接利用聲學(xué)模型的深層特征，而不是 GOP 等傳統(tǒng)特征，并將聲學(xué)知識從 ASR 模塊遷移到特定的評分模塊。基于注意力機制考慮話語中不同粒度之間的關(guān)系，僅更新此模塊以更快地遷移和適應(yīng)各種發(fā)音評估任務(wù)。
論文《A noise robust method for word-level pronunciation assessment》提出了一種基于領(lǐng)域?qū)?DAT) 方法的詞級發(fā)音評估噪聲魯棒模型，將干凈和噪音情況下的發(fā)音評估視為源域和目標(biāo)域，通過結(jié)合發(fā)音評估和噪聲域鑒別來優(yōu)化網(wǎng)絡(luò)。實驗結(jié)果表明，在不同噪聲條件下，所提出的模型在Pearson相關(guān)系數(shù) (PCC) 和準(zhǔn)確度方面比基線平均高出 3% 和 4%。
論文《A neural network-based noise compensation method for pronunciation assessment》考慮音素屬性，采用雙向長短期記憶網(wǎng)絡(luò)（BLSTM）進行單詞中音素上下文建模，對噪聲條件下的受損的音素的GOP進行特征補償。考慮到不同程度的噪音，不同發(fā)音水平下基于 ASR 的 GOP 分?jǐn)?shù)可能會有不同的影響，將 GOP補償任務(wù)與預(yù)測發(fā)音熟練度等級的輔助任務(wù)相結(jié)合。所提出的模型在皮爾遜相關(guān)系數(shù) (PCC) 和在嘈雜條件下進行發(fā)音評估的準(zhǔn)確性方面優(yōu)于基線。此外，它還證明了該網(wǎng)絡(luò)在各種嘈雜情況下的穩(wěn)健性。
論文《Explore Wav2vec 2.0 for Mispronunciation Detection》利用聲學(xué)預(yù)訓(xùn)練模型wav2vector,提取豐富的發(fā)音特征，極大的提升了細粒度音素判錯的準(zhǔn)確度，實現(xiàn)更加精細的發(fā)音反饋能力。
通過持續(xù)科研創(chuàng)新，騰訊英語君打造了特有的音素級AI口語評測功能，基于海量英語發(fā)音大數(shù)據(jù)的垂直研究，深挖中國學(xué)生發(fā)音習(xí)慣，打造獨家學(xué)生發(fā)音特征體系。本次被收錄的論文《Deep feature transfer learning for automatic pronunciation assessment》在口語評測方面實現(xiàn)了重大突破，能夠更快地針對中國學(xué)生提供糾正、提升和拓展訓(xùn)練的遞進性學(xué)習(xí)方式，幫助學(xué)生全面提升英語口語能力，同時也提升了老師的教學(xué)效率。
在打造特有的音素級AI口語評測功能的同時，騰訊英語君還針對英語教育中的實際場景進行深入探索，基于AI技術(shù)和大數(shù)據(jù)能力，為英語教學(xué)、考試質(zhì)量提升提供助力。例如，“口語評測魯棒性”能在人聲噪聲、設(shè)備噪聲、白噪聲等場景下進行發(fā)音評測，在針對英語聽說考試中的單詞、句子、段落朗讀等五大題型進行評測時，實現(xiàn)AI機器評分+專家抽樣/仲裁的形式進行打分，全面提升英語考試評分效率。
以AI技術(shù)提升考試效率 騰訊英語君助力學(xué)校智慧化轉(zhuǎn)型
依托于騰訊三大AI實驗室技術(shù)能力，騰訊英語君能夠運用神經(jīng)網(wǎng)絡(luò)算法、圖像識別技術(shù)、語音識別和口語評測技術(shù)、自然語言處理、大數(shù)據(jù)應(yīng)用等AI能力，為產(chǎn)品專屬開發(fā)多項功能，提高教學(xué)質(zhì)量和效率，幫助學(xué)生提高英語聽、說能力。
以英語聽說考試為例，借助行業(yè)領(lǐng)先的語音識別、口語評測等AI技術(shù)，騰訊英語君圍繞“教、學(xué)、考、評”四大場景，推出了聽說考試系統(tǒng)和練習(xí)系統(tǒng)，基于標(biāo)準(zhǔn)化、一致性的AI評分技術(shù)，致力于解決聽說考試評價標(biāo)準(zhǔn)難統(tǒng)一、公平性難保證、人力成本高等問題，實現(xiàn)考試評閱的準(zhǔn)確性和公平性。
目前，騰訊英語君已為上海松江區(qū)34所學(xué)校提供了標(biāo)準(zhǔn)化考場建設(shè)、模考和訓(xùn)練系統(tǒng)建設(shè)等基礎(chǔ)建設(shè)服務(wù)，在助力優(yōu)化傳統(tǒng)考試模式的同時，積極推動當(dāng)?shù)亟逃腔刍夀D(zhuǎn)型；參與多場中高考口語考試的機器自動評分，包括上海、聊城、青海等多個省市，從入場到最后提交報告時長在一周左右，機器評分可保證在兩天內(nèi)完成。同時，騰訊英語君還為深圳市光明區(qū)小、初、高41所學(xué)校提供區(qū)域統(tǒng)一的英語聽說教學(xué)質(zhì)量監(jiān)測全流程方案和評分服務(wù)，引導(dǎo)教師高度重視學(xué)生的英語聽說能力，幫助學(xué)生打好堅實的口語基礎(chǔ)。
此外，騰訊英語君為廣東佛山市南海區(qū)的150多所小學(xué)、17萬名學(xué)生和1500名老師提供日常英語教學(xué)和學(xué)習(xí)輔助服務(wù)，實現(xiàn)了統(tǒng)編教材、線上線下資源融通共享，并結(jié)合AI口語評測，組建常態(tài)化的聽讀訓(xùn)練活動，構(gòu)建了線上線下混合式閱讀學(xué)習(xí)新模式，提升學(xué)生的綜合表達能力和英語素養(yǎng)。
騰訊英語君已授權(quán)或公開專利四十余篇，涉及中英文口語評測、韻律度評測、口語考試系統(tǒng)NLP技術(shù)，口語考試系統(tǒng)語音技術(shù)、口語考試系統(tǒng)評測，作文批改，語法糾錯等多個領(lǐng)域，為科學(xué)高效的AI英語教學(xué)提供驅(qū)動力。
未來，騰訊英語君將繼續(xù)秉持形成性評價的教育理念，持續(xù)技術(shù)創(chuàng)新，并聯(lián)合生態(tài)伙伴不斷探索AI技術(shù)在教育領(lǐng)域中的應(yīng)用邊界，在為更多孩子提供科學(xué)、高效創(chuàng)新英語教育模式的同時，為推動教育行業(yè)智慧化轉(zhuǎn)型和發(fā)展提供助力。
