在近期揭榜的2021國際音頻檢索評測大賽（MIREX）上，網易數帆易智語音團隊攜手網易云音樂音視頻實驗室，憑借生產級AI技術創新能力，在歌詞識別和歌單識別兩個賽道大幅打破世界紀錄奪得冠軍。
MIREX是國際音頻檢索領域的頂尖賽事，為音頻信息檢索及音樂信號處理領域中的各種前沿技術提供公正、可信的評估，自2005年啟動以來吸引了世界知名大學、研究機構和科技公司企業的廣泛參與。領域內知名的團隊，如新加坡國立大學、倫敦大學瑪麗皇后學院等都參加過此項賽事。
大幅刷新世界紀錄
MIREX 2021中，網易數帆攜手云音樂團隊參加了Automatic Lyrics Transcription（歌詞識別）和Set List Identification（歌單識別）兩個賽道的比賽，后者任務為針對給定演唱會現場音頻和歌手的studio歌曲版本，按時間順序輸出演唱會中演唱的歌曲曲目（task1），以及每首曲目的開始和結束時間（task2）。
在歌詞識別賽道，網易實現了WER（詞錯誤率，Word Error Rate）從37.02（2020年最佳成績）到11.45的突破。于實驗而言，這是2倍以上的提升，但對于產品化，這是不可用和可用的巨大區別。
歌單識別賽道則由于領域技術沉寂曾缺席MIREX數年，于本屆恢復并成了網易表演的舞臺。如下表所示，網易提交模型的各項指標較往年均有顯著提升，單項指標的差別甚至超過了12倍。
其中，ED為task1中預測出的song序列和ground truth的編輯距離，數值越小越好；sBD和eBD分別為task2中預測出的song的開始時間和結束時間的評價誤差，單位秒，也是越小越好。
多項創新提升模型抗干擾能力
網易數帆易智團隊參賽人員介紹，這項賽事的任務與語音識別不同，歌詞識別賽道的數據集來自國外K歌APP，這意味著訓練數據有更嘈雜的背景，更多的噪音干擾，更低質量的歌詞音頻，如漏唱、錯唱、即興對白/獨白等，此外同樣的詞語在不同曲風不同節奏下往往呈現出不同的音高、音調和語速。如此復雜的場景，對模型訓練帶來了巨大的挑戰，模型必須具備很強的針對背景音樂及噪音的抗干擾能力，才能正確識別歌詞。
針對歌詞識別，網易在數據和模型方面做了大量針對性的優化，基于語音識別技術方案進行細化，把框架用到極致，采用預訓練語言模型的思想提升抗干擾能力，并分階段進行調優，以提升模型精度，從而大幅刷新世界紀錄。
針對歌單識別，業界傳統的方案是基于信號處理技術，網易此次將歌詞識別+文本檢索的方案引入這一領域，從而取得了飛躍式的提升。
基于音樂業務的生產級創新
大幅破紀錄并不是全部的結果，網易數帆這套技術方案還具有良好的可擴展能力，在訓練數據充足情況下（比賽所用數據集不是很大）會有更好的表現，也可以非常方便地擴展到日韓歌詞/歌單領域。事實上，這些技術已經在網易云音樂業務落地應用。換言之，這是工業界生產級的技術突破，而非實驗室的AI學術研究。
網易云音樂自2016年末上線“網易音樂人”產品服務，到2021年年底聚集了超過40萬原創音樂人。網易云音樂不斷改善產品功能和體驗，拓展音樂的價值，如社區視頻歌曲檢索、look直播等，2020年就在線上系統使用了歌詞識別的功能。在此過程中，網易云音樂與網易數帆易智團隊合作，通過技術創新來提升產品體驗。
網易云音樂音視頻實驗室專家介紹，兩個團隊攜手將參賽方案中所包含的歌詞識別、文本檢索技術，與網易云音樂團隊研發的哼唱識別、翻唱識別、音頻指紋及旋律提取等技術相互結合取長補短，在云音樂落地，實現了節省人力成本和提升業務效果等業務價值。
節省人力成本方面，音樂曲庫的需求之一是將逐行歌詞升級為逐字歌詞（如卡拉OK效果） ，技術實現是給每個字加上一個時間戳，通過歌詞識別技術創新，結合旋律提取做到歌詞和旋律邊界對齊，節省了大量的人力。另一個場景是曲庫安全，網易云音樂基于歌詞識別技術開發的敏感歌詞返檢系統，從而低成本、自動化地將敏感詞檢測出來。
提升業務效果方面，一個典型場景是哼唱識別，網易云音樂通過旋律匹配+歌詞識別的技術方案，有效提升了識別效果。其次是將歌單識別技術方案用于mlog的視頻識曲，結合音頻指紋、翻唱識別形成統一的識曲方案，針對網易云音樂用戶發布在mlog的視頻，該方案可以有效識別視頻中所唱的歌曲，并匹配曲庫中對應的歌曲，從而實現該視頻和曲庫里的歌曲關聯，進而相互引流。此外在look直播場景，基于該技術也可以準確識別主播所唱的歌曲。
展望未來，兩個團隊參賽人員預測，本次大賽中的技術將能夠在安全檢測、音樂版權檢測、音樂內容提供商、傳媒行業探索等場景大放異彩。
