H.264/AVC標(biāo)準(zhǔn)在當(dāng)前視頻應(yīng)用場(chǎng)景中仍然是應(yīng)用最廣、兼容性最高的視頻編碼標(biāo)準(zhǔn)，因此任何視頻產(chǎn)品如果希望在支持最大范圍用戶流暢使用的同時(shí)保障視頻質(zhì)量，H.264/AVC軟件編解碼必不可缺。在開(kāi)源編碼器實(shí)現(xiàn)中，x264經(jīng)過(guò)資深軟件工程師多年的持續(xù)優(yōu)化，是當(dāng)下公認(rèn)性能較為優(yōu)異且使用最多的選擇。但x264的開(kāi)源協(xié)議對(duì)商業(yè)軟件并不友好，會(huì)帶來(lái)昂貴的軟件授權(quán)費(fèi)用，所以對(duì)商業(yè)化視頻產(chǎn)品來(lái)說(shuō)，自研編碼器性能成了硬核技術(shù)實(shí)力比拼的關(guān)鍵。
為此騰訊多媒體實(shí)驗(yàn)室推出了自研的O264RT編碼器，并且與TRTC團(tuán)隊(duì)強(qiáng)強(qiáng)聯(lián)合進(jìn)行了深度優(yōu)化，確保TRTC在任何條件下都可以提供當(dāng)前場(chǎng)景"最低延時(shí)"與“最優(yōu)質(zhì)量”的視頻體驗(yàn)。
低耗極速
TRTC主要面向?qū)崟r(shí)性較高的應(yīng)用場(chǎng)景，且終端設(shè)備多樣，性能參差不齊，對(duì)CPU消耗和延時(shí)非常敏感。O264RT完善了低延時(shí)模式，并通過(guò)優(yōu)化多個(gè)編碼內(nèi)核工具集，對(duì)編碼器進(jìn)行加速，節(jié)省CPU開(kāi)銷。與x264相比，O264RT的CPU消耗同比降低可達(dá)20%，在提供更高質(zhì)量視頻的同時(shí)兼具了實(shí)時(shí)性高和性能消耗低的優(yōu)點(diǎn)。
x264與O264RT CPU消耗對(duì)比
高效優(yōu)質(zhì)
x264定位為通用編碼器，因此很多細(xì)分場(chǎng)景的優(yōu)化并沒(méi)有做到極致。而O264RT針對(duì)TRTC所專注的實(shí)時(shí)音視頻場(chǎng)景進(jìn)行了連續(xù)兩年的專項(xiàng)優(yōu)化，對(duì)碼控、模式?jīng)Q策、RDO等模塊均進(jìn)行了極致優(yōu)化。尤其是在攝像頭和屏幕分享兩個(gè)重點(diǎn)場(chǎng)景下，O264RT優(yōu)化效果非常顯著，編碼效率和編碼速度方面均優(yōu)于x264。針對(duì)攝像頭采集場(chǎng)景，O264RT能在比x264快20%的情況下，同時(shí)有13%左右的帶寬節(jié)省。
x264與O264RT 攝像頭采集場(chǎng)景性能對(duì)比
為了提供不同場(chǎng)景下的最優(yōu)視頻體驗(yàn)，O264RT新增實(shí)現(xiàn)了ROI與屏幕編碼技術(shù)。其中屏幕編碼技術(shù)更是在2021年數(shù)博會(huì)上，從全球560個(gè)項(xiàng)目中脫穎而出，榮獲黑科技大獎(jiǎng)。
數(shù)博會(huì)獲獎(jiǎng)證書
編碼ROI功能能夠優(yōu)化碼率在重要信息上的分配效率，使人眼感興趣的區(qū)域編碼更為清晰。對(duì)于ROI區(qū)域，O264RT支持外部傳入及內(nèi)部檢測(cè)兩種模式——如果外部有美顏等前處理模塊可使用外部傳入模式，避免重復(fù)計(jì)算；對(duì)于大多數(shù)的場(chǎng)景，外部并不存在ROI檢測(cè)結(jié)果，此時(shí)可開(kāi)啟耗時(shí)極低的內(nèi)部檢測(cè)算法，節(jié)省計(jì)算資源的同時(shí)也能提升編碼畫質(zhì)。
依據(jù)當(dāng)前實(shí)測(cè)結(jié)果，O264RT通過(guò)ROI技術(shù)，低碼率下能顯著提升主觀質(zhì)量，高碼率下則能夠在保證畫質(zhì)相同的情況下節(jié)省20%左右的帶寬。
ROI效果對(duì)比 (左)x264 (右) O264RT
屏幕分享場(chǎng)景是騰訊的優(yōu)勢(shì)場(chǎng)景，O264RT也為此作了大量針對(duì)性優(yōu)化。與x264相比，O264RT能夠在提升畫質(zhì)的同時(shí)節(jié)省25%以上帶寬，并擁有7%的加速。
x264與O264RT 屏幕內(nèi)容場(chǎng)景性能對(duì)比
屏幕內(nèi)容場(chǎng)景相同碼率編碼效果對(duì)比
(左) x264 (右) O264RT
弱網(wǎng)保障
視頻作為二維信息相比于音頻數(shù)據(jù)能傳遞的信息更多，理論上所需的帶寬也更高。這不僅對(duì)編碼器壓縮性有極高的要求，同時(shí)因?yàn)樾畔⒘看螅谌蹙W(wǎng)下丟包的幾率也相對(duì)更高。因此O264RT增加了智能參考幀和SVC功能，在高壓縮率的同時(shí)最大化弱網(wǎng)抗性，保障弱網(wǎng)環(huán)境下依然可以有效地傳輸視頻數(shù)據(jù)。
SVC示意圖
O264RT不僅具備低耗極速、高效優(yōu)質(zhì)、弱網(wǎng)保障等優(yōu)勢(shì)，同時(shí)還提供了全平臺(tái)支持，包括Linux、Windows、 MacOS、Android、 iOS等平臺(tái)，為TRTC用戶提供任何場(chǎng)景、任何時(shí)間、任何平臺(tái)都可以有效節(jié)省帶寬成本，且更高清、更低延遲的自研編碼器選擇。
