近日，2022 MSU 世界視頻編碼器大賽正式放榜，網(wǎng)易云信首次參賽就獲得驕人成績(jī)，自研的結(jié)合智碼超清技術(shù)的 NE265E 編碼器以公開(kāi)身份參賽，在 H.265 賽道下獲得多項(xiàng)指標(biāo)第一名。
首次參賽，斬獲 3 項(xiàng)指標(biāo)第一
MSU 世界視頻編碼器大賽（MSU Video Codecs Comparison）是由莫斯科國(guó)立大學(xué)主辦的國(guó)際大賽，迄今已連續(xù)舉辦 17 屆，被稱為視頻編碼壓縮領(lǐng)域最具權(quán)威和影響力的全球頂級(jí)賽事。
而在 FullHD 比賽更是高手如云，幾乎涵蓋了國(guó)內(nèi)外眾多音視頻領(lǐng)域的行家里手。參賽的各種視頻編碼器被要求在一定速度、碼率等規(guī)則下，通過(guò)多種客觀質(zhì)量指標(biāo)和主觀質(zhì)量指標(biāo)層層評(píng)估編碼質(zhì)量，并給出最終比賽結(jié)果。
此次大賽，網(wǎng)易云信 NE265 編碼器首次參賽，以公開(kāi)編碼器身份在 H.265 賽道的 15 個(gè)指標(biāo)中獲得 3 項(xiàng)指標(biāo)第一，8 項(xiàng)指標(biāo)第二。
其中在 Y-VMAF(v0.6.1/v0.6.2/v0.6.3) 的客觀指標(biāo)上，網(wǎng)易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下，成績(jī)均勝過(guò)其他大廠的參賽編碼器，獲得了 H.265 賽道的第一名。在其他客觀質(zhì)量 YUV-SSIM, YUV-MS-SSIM, YUV-PSNR 等指標(biāo)上，在 5fps/30fps 速度檔位下，網(wǎng)易云信 NE265 編碼器獲得 H.265 賽道的第二名。
高規(guī)格國(guó)際頂級(jí)賽事，眾多大廠同臺(tái)競(jìng)技，網(wǎng)易云信能以公開(kāi)的編碼器參賽并獲得細(xì)分賽道多項(xiàng)指標(biāo)第一，足見(jiàn)這項(xiàng)基于 NE265E 編碼器的智碼超清技術(shù)領(lǐng)先性已獲得了業(yè)界權(quán)威認(rèn)可。
網(wǎng)易云信智碼超清 NE265E 編碼器在 1fps/5fps/30fps 所有速度檔位下均獲得了賽道第一名
這么牛的技術(shù)能用來(lái)干啥？
可能有人會(huì)問(wèn)，這項(xiàng)技術(shù)聽(tīng)起來(lái)好像很牛，但是那些指標(biāo)咱們吃瓜群眾也看不懂，和日常生活有什么關(guān)系？
還真有。隨著視頻成為許多內(nèi)容的媒介載體，人們對(duì)視頻畫質(zhì)要求也越來(lái)越高，從 1080P、2K 到 4K，甚至 8K。不過(guò)觀看體驗(yàn)要好，分辨率尺寸就得越來(lái)越大，若是不經(jīng)過(guò)視頻編碼器壓縮，網(wǎng)絡(luò)帶寬流量成本也會(huì)水漲船高。
高分辨率帶來(lái)更優(yōu)畫質(zhì)體驗(yàn)，但帶寬成本也會(huì)水漲船高
網(wǎng)易云信智碼超清技術(shù)解決的就是這個(gè)問(wèn)題，能在相同碼率情況下提供用戶更高畫質(zhì)的視頻體驗(yàn)。
如此一來(lái)，對(duì)流媒體平臺(tái)而言，視頻的存儲(chǔ)、分發(fā)、傳播成本都能得到顯著降低；對(duì)用戶而言，咱們刷在線視頻、看 4K 電影、直播追劇等都能看個(gè)過(guò)癮，不必?fù)?dān)心流量告急。
“榜一大哥”具體是怎么煉成的？
那么，這項(xiàng)與人們?nèi)粘Ｉ罹o密相關(guān)的智碼超清技術(shù)，其轉(zhuǎn)碼的關(guān)鍵技術(shù)點(diǎn)在哪呢？網(wǎng)易云信是怎么做的？
總結(jié)來(lái)說(shuō)，智碼超清轉(zhuǎn)碼的關(guān)鍵技術(shù)點(diǎn)分為了視頻前處理、視頻編碼、視頻后處理三個(gè)部分。
首先是視頻前處理，包含了內(nèi)容分析與畫質(zhì)提升兩個(gè)方面。內(nèi)容分析的第一步是通過(guò)場(chǎng)景識(shí)別區(qū)分出不同場(chǎng)景，如：游戲、動(dòng)作片、動(dòng)漫、視頻會(huì)議等，根據(jù)場(chǎng)景選擇不同的前處理策略和編碼工具，做到場(chǎng)景自適應(yīng)；其次是進(jìn)行基于深度學(xué)習(xí)的 ROI 區(qū)域檢測(cè)，將檢測(cè)后的 ROI 區(qū)域傳給前處理模塊和編碼模塊，進(jìn)而對(duì) ROI 區(qū)域畫質(zhì)進(jìn)行增強(qiáng)修復(fù)。
畫質(zhì)提升則是通過(guò)視頻增強(qiáng)、色彩增強(qiáng)、視頻降噪三方面入手，前兩者著重通過(guò)對(duì)原始視頻的增強(qiáng)提升主觀畫質(zhì)，而視頻降噪是在噪聲評(píng)估之后進(jìn)行降噪處理，提升主觀畫質(zhì)的同時(shí)，還能對(duì)視頻編碼的壓縮率帶來(lái)幫助。
其次是視頻編碼。智能編碼方面包括了感知編碼、ROI 編碼，以及精準(zhǔn)的幀級(jí)和行級(jí)碼控；編碼內(nèi)核方面，通過(guò)自研的 NE264、NE265，以及支持私有協(xié)議的 NEVC 完成。
在視頻后處理方面，主要通過(guò)視頻超分、視頻增強(qiáng)技術(shù)等完成畫質(zhì)提升。視頻超分是指通過(guò)網(wǎng)易云信 AI 超分算法，將低分辨率圖像生成高分辨率圖像。網(wǎng)易云信提出了基于編碼損失復(fù)原的視頻超分技術(shù)，采用數(shù)據(jù)驅(qū)動(dòng)和網(wǎng)絡(luò)設(shè)計(jì)并重的策略，通過(guò)數(shù)據(jù)處理模擬真實(shí)失真場(chǎng)景，并且從模型設(shè)計(jì)到工程化實(shí)現(xiàn)進(jìn)行層層優(yōu)化，在模型實(shí)時(shí)性和真實(shí)場(chǎng)景超分效果方面取得了不錯(cuò)的效果。
節(jié)省帶寬成本超過(guò) 60%
值得一提的是，這并非網(wǎng)易云信音視頻實(shí)驗(yàn)室第一次在世界的舞臺(tái)上閃耀。
在 2022 年，計(jì)算機(jī)視覺(jué)領(lǐng)域最高級(jí)別的會(huì)議 CVPR（CVPR NTIRE 2022 EfficientSuper-Resolution Challenge）上，網(wǎng)易云信音視頻實(shí)驗(yàn)室的 AI 超分技術(shù)同樣摘得了綜合性能賽道的世界第一。
坐而論道，不如起而行之，技術(shù)積累需在真實(shí)場(chǎng)景落地才能體現(xiàn)價(jià)值。在網(wǎng)易集團(tuán)內(nèi)部，網(wǎng)易云信智碼超清技術(shù)已在網(wǎng)易傳媒、網(wǎng)易云音樂(lè)、網(wǎng)易元?dú)獾葮I(yè)務(wù)中全量上線。
以網(wǎng)易傳媒為例，從去年統(tǒng)計(jì)的結(jié)果看，每日 40 萬(wàn)分鐘視頻轉(zhuǎn)碼的帶寬由每天 80G 下降到每天低于32G，節(jié)省帶寬成本超過(guò) 60%。
未來(lái)，網(wǎng)易云信也將繼續(xù)保持前沿技術(shù)探索，為業(yè)界提供更低成本、更低延時(shí)、更高畫質(zhì)的視頻編碼壓縮方案。
