H.264/AVC標(biāo)準(zhǔn)在當(dāng)前視頻應(yīng)用場景中仍然是應(yīng)用最廣、兼容性最高的視頻編碼標(biāo)準(zhǔn)，因此任何視頻產(chǎn)品如果希望在支持最大范圍用戶流暢使用的同時保障視頻質(zhì)量，H.264/AVC軟件編解碼必不可缺。在開源編碼器實(shí)現(xiàn)中，x264經(jīng)過資深軟件工程師多年的持續(xù)優(yōu)化，是當(dāng)下公認(rèn)性能較為優(yōu)異且使用最多的選擇。但x264的開源協(xié)議對商業(yè)軟件并不友好，會帶來昂貴的軟件授權(quán)費(fèi)用，所以對商業(yè)化視頻產(chǎn)品來說，自研編碼器性能成了硬核技術(shù)實(shí)力比拼的關(guān)鍵。
為此騰訊多媒體實(shí)驗(yàn)室推出了自研的O264RT編碼器，并且與TRTC團(tuán)隊(duì)強(qiáng)強(qiáng)聯(lián)合進(jìn)行了深度優(yōu)化，確保TRTC在任何條件下都可以提供當(dāng)前場景"最低延時"與“最優(yōu)質(zhì)量”的視頻體驗(yàn)。
低耗極速
TRTC主要面向?qū)崟r性較高的應(yīng)用場景，且終端設(shè)備多樣，性能參差不齊，對CPU消耗和延時非常敏感。O264RT完善了低延時模式，并通過優(yōu)化多個編碼內(nèi)核工具集，對編碼器進(jìn)行加速，節(jié)省CPU開銷。與x264相比，O264RT的CPU消耗同比降低可達(dá)20%，在提供更高質(zhì)量視頻的同時兼具了實(shí)時性高和性能消耗低的優(yōu)點(diǎn)。
x264與O264RT CPU消耗對比
高效優(yōu)質(zhì)
x264定位為通用編碼器，因此很多細(xì)分場景的優(yōu)化并沒有做到極致。而O264RT針對TRTC所專注的實(shí)時音視頻場景進(jìn)行了連續(xù)兩年的專項(xiàng)優(yōu)化，對碼控、模式?jīng)Q策、RDO等模塊均進(jìn)行了極致優(yōu)化。尤其是在攝像頭和屏幕分享兩個重點(diǎn)場景下，O264RT優(yōu)化效果非常顯著，編碼效率和編碼速度方面均優(yōu)于x264。針對攝像頭采集場景，O264RT能在比x264快20%的情況下，同時有13%左右的帶寬節(jié)省。
x264與O264RT 攝像頭采集場景性能對比
為了提供不同場景下的最優(yōu)視頻體驗(yàn)，O264RT新增實(shí)現(xiàn)了ROI與屏幕編碼技術(shù)。其中屏幕編碼技術(shù)更是在2021年數(shù)博會上，從全球560個項(xiàng)目中脫穎而出，榮獲黑科技大獎。
數(shù)博會獲獎證書
編碼ROI功能能夠優(yōu)化碼率在重要信息上的分配效率，使人眼感興趣的區(qū)域編碼更為清晰。對于ROI區(qū)域，O264RT支持外部傳入及內(nèi)部檢測兩種模式——如果外部有美顏等前處理模塊可使用外部傳入模式，避免重復(fù)計(jì)算；對于大多數(shù)的場景，外部并不存在ROI檢測結(jié)果，此時可開啟耗時極低的內(nèi)部檢測算法，節(jié)省計(jì)算資源的同時也能提升編碼畫質(zhì)。
依據(jù)當(dāng)前實(shí)測結(jié)果，O264RT通過ROI技術(shù)，低碼率下能顯著提升主觀質(zhì)量，高碼率下則能夠在保證畫質(zhì)相同的情況下節(jié)省20%左右的帶寬。
ROI效果對比 (左)x264 (右) O264RT
屏幕分享場景是騰訊的優(yōu)勢場景，O264RT也為此作了大量針對性優(yōu)化。與x264相比，O264RT能夠在提升畫質(zhì)的同時節(jié)省25%以上帶寬，并擁有7%的加速。
x264與O264RT 屏幕內(nèi)容場景性能對比
屏幕內(nèi)容場景相同碼率編碼效果對比
(左) x264 (右) O264RT
弱網(wǎng)保障
視頻作為二維信息相比于音頻數(shù)據(jù)能傳遞的信息更多，理論上所需的帶寬也更高。這不僅對編碼器壓縮性有極高的要求，同時因?yàn)樾畔⒘看螅谌蹙W(wǎng)下丟包的幾率也相對更高。因此O264RT增加了智能參考幀和SVC功能，在高壓縮率的同時最大化弱網(wǎng)抗性，保障弱網(wǎng)環(huán)境下依然可以有效地傳輸視頻數(shù)據(jù)。
SVC示意圖
O264RT不僅具備低耗極速、高效優(yōu)質(zhì)、弱網(wǎng)保障等優(yōu)勢，同時還提供了全平臺支持，包括Linux、Windows、 MacOS、Android、 iOS等平臺，為TRTC用戶提供任何場景、任何時間、任何平臺都可以有效節(jié)省帶寬成本，且更高清、更低延遲的自研編碼器選擇。
