今日,新華社音視頻部、新華社貴州分社聯(lián)合出品的微電影《橋下人家》上線,網(wǎng)易云音樂(lè)音視頻實(shí)驗(yàn)室鯨云AI為該片提供獨(dú)家視頻配樂(lè)解決方案,這也是鯨云AI編曲首個(gè)在視頻配樂(lè)場(chǎng)景上的實(shí)際應(yīng)用。
貴州西部的烏蒙山,是典型的喀斯特地貌發(fā)育帶,溝壑險(xiǎn)峻、溶洞叢生,山脈之中的北盤(pán)江將云貴兩地隔絕開(kāi)來(lái),長(zhǎng)期以來(lái),這給當(dāng)?shù)卮迕竦某鲂信c安全帶來(lái)極大困擾。而“世界最高橋”北盤(pán)江大橋的建成通車(chē),使得天塹變通途,不僅打通了村民們的出山路,更拓寬了當(dāng)?shù)卮迕癜l(fā)展致富的思路和門(mén)路。微電影《橋下人家》便取材于當(dāng)?shù)卣鎸?shí)的人物和事件,以主人公小馬哥和其他村民的親身經(jīng)歷來(lái)表現(xiàn)北盤(pán)江大橋的建設(shè)給當(dāng)?shù)卮迕駧?lái)的巨大變化,反映出黨的十八大以來(lái),黨和國(guó)家事業(yè)取得的歷史性成就與變革。
影片中小馬哥的人物原型為貴州省六盤(pán)水市水城區(qū)都格鎮(zhèn)龍井社區(qū)村民馬選軍,片中其他人物如羊倌、幺妹等也均由當(dāng)?shù)卮迕癖救吮旧鲅荨?/p>
據(jù)了解,由于網(wǎng)易云音樂(lè)音視頻實(shí)驗(yàn)室的AI編曲能力可以實(shí)現(xiàn)高匹配、快響應(yīng)的AI編曲創(chuàng)作,與《橋下人家》這部作品時(shí)間緊、任務(wù)重的后期制作要求不謀而合。網(wǎng)易云音樂(lè)鯨云AI針對(duì)配樂(lè)難點(diǎn)提供了獨(dú)特的AI創(chuàng)作解決方案,通過(guò)影片小樣、文字腳本理解視頻內(nèi)容,搭配與視頻情節(jié)、人物情緒、環(huán)境氛圍契合的音樂(lè),包括關(guān)鍵幀的卡點(diǎn)、進(jìn)出場(chǎng)以及轉(zhuǎn)場(chǎng)的音樂(lè)裁剪等。
在技術(shù)實(shí)現(xiàn)中,鯨云AI配樂(lè)技術(shù)運(yùn)用視頻幀率檢索技術(shù),對(duì)視頻中的動(dòng)態(tài)差異較大的相關(guān)段落進(jìn)行精準(zhǔn)標(biāo)記,以此確定關(guān)鍵時(shí)間節(jié)點(diǎn),通過(guò)時(shí)間點(diǎn)的串聯(lián)來(lái)確定視頻整體的動(dòng)態(tài)曲線。之后根據(jù)視頻的標(biāo)簽主題來(lái)定位視頻整體調(diào)性,也包括情緒的大致范圍,加上之前所得的視頻動(dòng)態(tài)曲線,結(jié)合定位出該視頻配樂(lè)的音樂(lè)復(fù)雜度曲線。之后運(yùn)用AI伴奏技術(shù),輸入確定好的主題,自動(dòng)渲染出與該主題適合的BGM。
以微電影《橋下人家》AI配樂(lè)為例,該BGM充分考慮了影片情節(jié)的動(dòng)態(tài)發(fā)展和人物的情緒變化,加入音樂(lè)復(fù)雜度曲線之后,還通過(guò)修改配器、旋律、和弦、節(jié)奏、風(fēng)格等元素達(dá)到與影片貼合匹配的效果。
由于機(jī)器端到端一鍵生成總有不夠完美之處,AI伴奏的編輯界面還為創(chuàng)作者提供了實(shí)時(shí)修改編輯和弦進(jìn)行、旋律線、節(jié)奏等功能,甚至提供多達(dá)數(shù)十種不同的音樂(lè)風(fēng)格來(lái)實(shí)時(shí)渲染原始曲目,該界面的簡(jiǎn)易模式更支持通過(guò)拖拽音樂(lè)復(fù)雜度曲線來(lái)完成自定義編輯。
作為一個(gè)年輕化的團(tuán)隊(duì),網(wǎng)易云音樂(lè)音視頻實(shí)驗(yàn)室的多數(shù)成員均來(lái)自海內(nèi)外知名高校和實(shí)驗(yàn)室。團(tuán)隊(duì)自成立后便基于音樂(lè)AI領(lǐng)域的需求,在技術(shù)上不斷深耕,布局覆蓋音樂(lè)內(nèi)容分析、自動(dòng)編曲、AI編曲、歌聲合成、歌聲美化、音視頻互動(dòng)等。此前,在國(guó)際音頻檢索領(lǐng)域的頂尖賽事MIREX中,網(wǎng)易云音樂(lè)音視頻實(shí)驗(yàn)室憑借“旋律抽取”技術(shù)奪得冠軍并刷新了世界紀(jì)錄,其提出的“魯棒”指紋算法方案也已成功上線,為網(wǎng)易云音樂(lè)所有業(yè)務(wù)提供穩(wěn)定的聲紋識(shí)別服務(wù)。而《橋下人家》影片原聲配樂(lè)屬于智能音樂(lè)生產(chǎn)的大領(lǐng)域,通過(guò)本次與新華社的合作實(shí)踐,團(tuán)隊(duì)也探索到了音畫(huà)互動(dòng)的編輯交互邏輯,更加激勵(lì)團(tuán)隊(duì)成員創(chuàng)新性地完成一些技術(shù)的搭建與沉淀,為后續(xù)更多有價(jià)值的應(yīng)用場(chǎng)景提供難得的探索機(jī)會(huì)。
作為中國(guó)最大的音樂(lè)社區(qū)和最受年輕一代喜愛(ài)的音樂(lè)平臺(tái),網(wǎng)易云音樂(lè)一直致力于帶給用戶(hù)最好的音樂(lè)播放體驗(yàn)。未來(lái),網(wǎng)易云音樂(lè)將持續(xù)優(yōu)化平臺(tái)音樂(lè)內(nèi)容生態(tài)和聽(tīng)歌品質(zhì),讓用戶(hù)盡情感受音樂(lè)之美。
