近日，喜馬拉雅自研的跨語言語音合成創(chuàng)新技術(shù)論文被2022年IEEE國際音頻、語音與信號處理會議（2022 IEEE International Conference on Acoustics, Speech, and Signal Processing，ICASSP 2022）收錄，并受邀于今年5月在新加坡舉辦的會議上向全球展示相關(guān)技術(shù)成果。
ICASSP是由IEEE（電氣電子工程師學(xué)會）主辦的在信號處理及其應(yīng)用方面的頂級會議，在國際上享有盛譽(yù)并具有廣泛的學(xué)術(shù)影響力。今年是ICASSP的第47屆會議，會議主題為“以人為本的信號處理”。
多語言建模已經(jīng)成為語音合成系統(tǒng)必須擁有的能力。在實(shí)際的建模過程中，常需要根據(jù)單語種數(shù)據(jù)，構(gòu)建一個擁有多語言能力的音色，比如需要能同時說中文和英文的某個音色，而該音色只有中文數(shù)據(jù)。針對這種情況，業(yè)界主流的建模方式是構(gòu)建一個跨語言的語音合成系統(tǒng)，使該純中文音色去學(xué)習(xí)另外一個帶英文數(shù)據(jù)音色的英文能力。但該類跨語言語音合成系統(tǒng)在構(gòu)建時往往有一些不足之處，比如學(xué)習(xí)到的英文發(fā)音不盡人意，或者由于學(xué)習(xí)英文發(fā)音，中文的韻律或者發(fā)音準(zhǔn)確度下降，特別是在高表現(xiàn)力的音色建模上（如有聲書朗讀風(fēng)格的音色）。為了進(jìn)一步解決上述跨語言語音合成系統(tǒng)中所存在的問題，喜馬拉雅在論文中提出了其自研的創(chuàng)新訓(xùn)練方法。
這一創(chuàng)新訓(xùn)練方法著眼于讓模型能夠接受所有音色和語言的組合的訓(xùn)練。例如音色A是一個純中文數(shù)據(jù)，音色B是一個純英文數(shù)據(jù)。在一些主流的跨語言語音合成系統(tǒng)的訓(xùn)練中，系統(tǒng)只能被<音色a，中文>和<音色b，英文>兩種組合的數(shù)據(jù)進(jìn)行訓(xùn)練。但是在實(shí)際語音合成推理中，卻需要讓音色A說英文（<音色a，英文>）和讓音色B說中文（<音色b，中文>），而這兩種組合都沒有對應(yīng)數(shù)據(jù)進(jìn)行訓(xùn)練。此次喜馬拉雅在論文中提出的方法，通過訓(xùn)練發(fā)音判別器和音色相似度判別器，使得系統(tǒng)不僅接受已有數(shù)據(jù)組合（<音色a，中文>，<音色b，英文>）的訓(xùn)練，也可以被跨語言數(shù)據(jù)組合（<音色a，英文>，<音色b，中文>）訓(xùn)練，從而使得訓(xùn)練和推理兩個過程中的音色和語言組合完全對齊。
實(shí)驗(yàn)結(jié)果顯示，新提出的方法不僅在跨語言可懂度上顯著超越了基線模型，并且在保留音色相似度的前提下，也提升了跨語言語音合成的自然度。該方法不僅可以用在中英跨語言語音合成建模上，同樣可以擴(kuò)展到其他任何語言的建模上，例如方言跨語言遷移等。
喜馬拉雅已在TTS（語音合成）領(lǐng)域潛心鉆研多年，并在內(nèi)部專門成立了喜馬拉雅智能語音實(shí)驗(yàn)室這一核心部門，長期專注于語音合成、識別、語音信號處理、編解碼以及智能音效的研究和開發(fā)，而這次的論文研究成果便來自于這一部門。目前，語音合成技術(shù)在喜馬拉雅已經(jīng)廣泛被運(yùn)用于評書、新聞、小說等多種內(nèi)容的制作中，正助力喜馬拉雅在現(xiàn)有的“UGC + PGC + PUGC”內(nèi)容生態(tài)之外，進(jìn)一步拓展AIGC的可能性。
2021年，喜馬拉雅通過將自主設(shè)計單獨(dú)的韻律提取模塊融入到 HiTTS 技術(shù)框架，完美復(fù)現(xiàn)了單田芳的“聲音”，目前已用單田芳的AI合成音上線了80張左右的“單田芳聲音重現(xiàn)”專輯，其中，《毛氏三兄弟》和歷史類作品的聲音完播率遠(yuǎn)超過普通人聲作品，為未來出版物大量有聲化提供了新的解決方案。如今有了跨語言的語音合成技術(shù)，我們接下來將有望聽到單田芳先生的“聲音”來播講英文內(nèi)容。同時，2021年，還有新京報、環(huán)球時報、瀟湘晨報、時代周報、海外網(wǎng)、刺猬公社等眾多主流媒體入駐喜馬拉雅，借助喜馬拉雅TTS技術(shù)加速制作新聞類音頻節(jié)目，讓聽眾有了更多的渠道聽到更權(quán)威的新聞。
未來，喜馬拉雅將持續(xù)投入TTS技術(shù)的研發(fā)升級，不斷打開對于聲音的想象，讓技術(shù)加持聲音、讓聲音服務(wù)生活。
