來源 | Tech星球

文 | 任雪蕓

當(dāng)視頻作為信息傳遞模式出現(xiàn)，文字、數(shù)據(jù)、聲音在視頻相襯之下顯得相對(duì)冗長和單調(diào)。于是，谷歌在2015年就給出了這樣的預(yù)測(cè)：“未來互聯(lián)網(wǎng)世界80%的內(nèi)容將是以視頻形式呈現(xiàn)的。”

隨之抖音、快手為代表的新一代現(xiàn)象級(jí)應(yīng)用的誕生，使得短視頻賽道全面爆發(fā)。

不同于有組織的數(shù)據(jù)，以視頻和圖片為主的非結(jié)構(gòu)化數(shù)據(jù)快速增長，為企業(yè)的帶寬和性能帶來巨大壓力。隨著越來越多的企業(yè)關(guān)注視頻，各類廠商對(duì)視頻云的需求與日俱增，視頻云隨之?dāng)U張。

據(jù)艾瑞咨詢提供的數(shù)據(jù)報(bào)告顯示，從2022年到2027年中國音視頻云服務(wù)的市場(chǎng)規(guī)模復(fù)核增長率將達(dá)到24.4%。內(nèi)容視頻化的趨勢(shì)帶動(dòng)了視頻云行業(yè)的增長，但市場(chǎng)規(guī)模持續(xù)擴(kuò)大的背后，關(guān)乎于用戶體驗(yàn)的視頻質(zhì)量，需要視頻云廠商為此不斷提供底層算力支持與視頻技術(shù)的優(yōu)化。

早在今年4月份，春季火山引擎 FORCE 原動(dòng)力大會(huì)上，火山引擎總裁譚待就指出，更高清、更互動(dòng)、更沉浸是消費(fèi)者視頻體驗(yàn)提升的三個(gè)關(guān)鍵方向。

為此，面對(duì)這一市場(chǎng)趨勢(shì)，火山引擎持續(xù)基于技術(shù)能力的提升和解決方案的迭代，為企業(yè)視頻化服務(wù)提供新的增長動(dòng)力。8月22日，火山引擎舉辦視頻云&AIGC技術(shù)大會(huì)，基于軟硬件技術(shù)的一體化創(chuàng)新推動(dòng)了視頻云行業(yè)的新變革。

更清晰、更暢快的視頻體驗(yàn)

視頻體驗(yàn)的每一次優(yōu)化，其本質(zhì)都是背后技術(shù)的突破與演進(jìn)。

伴隨著視頻規(guī)模的持續(xù)增長，用戶對(duì)視頻清晰度體驗(yàn)的追求持續(xù)提升，而網(wǎng)絡(luò)和終端硬件設(shè)備也在不斷進(jìn)行迭代。不能否認(rèn)的是，在視頻數(shù)字化趨勢(shì)之后，超高清化的視頻讓各大廠商面臨著持續(xù)且重大的技術(shù)革新。

從移動(dòng)互聯(lián)網(wǎng)終端觀看分辨率去看，早先的360P、480P幾乎被用戶拋棄，當(dāng)下用戶的選擇逐步從720P、1080P走向4K、8K這類超高清視頻。不局限于清晰度本身，當(dāng)下沉浸式的視頻體驗(yàn)同時(shí)也會(huì)追求更高幀率，和更寬的色域。

在“更清晰”、“更暢快”的需求背后，表面上是分辨率和幀率的提升，以及色域的增強(qiáng)。但從視頻云所肩負(fù)的責(zé)任出發(fā)，其面臨的則是視頻信息量的成倍增加。用戶所需要的極致視頻體驗(yàn)和帶寬、計(jì)算成本、編碼速度之間的沖突在不斷加深。

與此同時(shí)，當(dāng)下以AIGC為代表的AI能力、Apple Vision為代表的MR/XR等技術(shù)正迅速崛起，隨著這些技術(shù)的飛速發(fā)展，物理世界與虛擬世界的壁壘不斷被打破。

基于技術(shù)方案的升級(jí)，如何實(shí)現(xiàn)各場(chǎng)景中終端用戶對(duì)沉浸式、智能化視頻的需求成為了擺在眼下的難題。

作為字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)，火山引擎在產(chǎn)業(yè)端深度覆蓋了抖音等字節(jié)系A(chǔ)pp，通過長期服務(wù)抖音、西瓜視頻、飛書等產(chǎn)品，沉淀積累了包括視頻點(diǎn)播、直播、實(shí)時(shí)音視頻、云游戲和云渲染等產(chǎn)品在內(nèi)的大量經(jīng)驗(yàn)和解決方案，可提供視頻的全鏈路技術(shù)服務(wù)。

而內(nèi)部業(yè)務(wù)的高速循環(huán)推動(dòng)了火山引擎的持續(xù)增長和創(chuàng)新需求的爆發(fā)。于是，從2022年起，火山引擎就推出了以云為底座的一系列產(chǎn)品解決方案，包括企業(yè)上云和智能營銷通用方案。

此次，火山引擎視頻云技術(shù)能力繼續(xù)升級(jí)，基于軟硬件的迭代和AIGC技術(shù)的成熟，對(duì)于各場(chǎng)景視頻云的應(yīng)用給出了新的解法：既要實(shí)現(xiàn)軟硬協(xié)同，又要深度自研。

打造軟硬協(xié)同的一體化能力

在這次大會(huì)上，火山引擎發(fā)布了一款自研視頻編解碼芯片。相對(duì)于行業(yè)主流硬件編碼器，這款芯片能夠帶來30%左右的效率提升。

在具體的業(yè)務(wù)場(chǎng)景應(yīng)用上，這款芯片所具備的超高算力密度能對(duì)大量，甚至全量的點(diǎn)播或直播的視頻提供高質(zhì)量的轉(zhuǎn)碼，從而降低業(yè)務(wù)帶寬成本并提升用戶體驗(yàn)和業(yè)務(wù)指標(biāo)。

此外，這款芯片為不同視頻場(chǎng)景提供不同的算力支持，火山引擎實(shí)現(xiàn)了通用算力到異構(gòu)算力的跨越，除了ASIC算力的自研芯片外，火山引擎FPGA硬件編解碼器曾獲得多項(xiàng)國際賽事獎(jiǎng)項(xiàng)。據(jù)Tech星球了解，自研的高密度ARM陣列服務(wù)器能夠?yàn)橛脩籼峁O具性價(jià)比的算力，相比x86資源，可以節(jié)省40%以上的成本。

構(gòu)建在異構(gòu)算力之上，在視頻中，基于提升用戶體驗(yàn)和降低成本的角度出發(fā)，其往往需要經(jīng)歷轉(zhuǎn)碼、編輯、分析，圖片處理等各類視頻處理方式，在這些能力背后，一個(gè)視頻底層的處理系統(tǒng)支撐著上層業(yè)務(wù)的流轉(zhuǎn)。

以BMF框架為例，作為一個(gè)動(dòng)態(tài)多媒體處理框架，其目標(biāo)是把所有多媒體處理的原子能力進(jìn)行插件化管理，然后提高系統(tǒng)的可擴(kuò)展性以及開發(fā)和運(yùn)維的效率。

隨著字節(jié)自身短視頻和圖片業(yè)務(wù)的井噴式增長，BMF最終跳脫于傳統(tǒng)框架，實(shí)現(xiàn)了對(duì)視頻生產(chǎn)、下發(fā)、到播放等全鏈路視頻周期的覆蓋。在此次產(chǎn)品升級(jí)中，火山引擎方面表示，BMF框架的功能多樣性、易用性、兼容性、穩(wěn)定性和性能得到了充分的打磨，因此，正式對(duì)外實(shí)現(xiàn)開源。

當(dāng)下自研芯片、ARM陣列服務(wù)器和BMF框架開源已經(jīng)成為了火山引擎視頻云的基礎(chǔ)底座。隨著這些技術(shù)能力的進(jìn)一步釋放，以及智能汽車、金融、醫(yī)療、社交等新場(chǎng)景的不斷豐富，視頻云技術(shù)得到了持續(xù)的擴(kuò)展。

此外，綜合考慮到客戶各類需求，當(dāng)下視頻云廠商們?cè)絹碓絻A向于提供整合能力 ，基于客戶使用的實(shí)際場(chǎng)景靈活切換使用。

以自動(dòng)駕駛場(chǎng)景為例，毫末智行與火山引擎攜手打造了遠(yuǎn)程駕艙及運(yùn)營平臺(tái)產(chǎn)品，支持監(jiān)督、脫困豐富介入模式，鍵鼠、手柄、駕駛模擬器多種部署方式，而且實(shí)現(xiàn)了低卡頓、低時(shí)延、低帶寬占用。

這款產(chǎn)品目前已經(jīng)應(yīng)用到毫末智行全棧自研的末端物流自動(dòng)配送車小魔駝之上，能夠在遠(yuǎn)程車控場(chǎng)景中實(shí)現(xiàn)車機(jī)視頻采集和遠(yuǎn)端操作員的同步，以此保證駕駛操作安全、可靠、穩(wěn)定。

根據(jù)數(shù)據(jù)顯示，基于毫末智行與火山引擎打造的這款產(chǎn)品，在駕倉的應(yīng)用中，視頻的卡頓率能夠降低到0.3%，視頻端到端的時(shí)延能夠達(dá)到100ms，同等清晰度的情況下，帶寬的占用減少30%左右。

目前，火山引擎視頻云在云游戲、金融直播審核、互動(dòng)營銷、智慧汽車、互娛等領(lǐng)域已經(jīng)成為了基礎(chǔ)設(shè)施，在各類場(chǎng)景的使用中，它一直在為“更高清”、“更交互”、“更沉浸”的視頻體驗(yàn)做出努力。

探索AIGC和視頻云的邊界

對(duì)于視頻云行業(yè)的玩家們而言，在提供給用戶超高清和超低時(shí)延、強(qiáng)融合的視頻平臺(tái)背后，云廠商們需要具備底層強(qiáng)大的算力支持，還需要利用以AIGC為代表的技術(shù)推動(dòng)內(nèi)容生成。

自ChatGPT發(fā)布以來，AIGC如同打開了創(chuàng)新之門，各種類型的AI創(chuàng)新產(chǎn)品持續(xù)出現(xiàn)，隨著AIGC的技術(shù)迭代，AI能力應(yīng)用于視頻愈加普遍。

以視覺大模型應(yīng)用于影視修復(fù)為例，這是火山引擎在近日聯(lián)合抖音做的項(xiàng)目——對(duì)100部香港經(jīng)典老電影進(jìn)行4K修復(fù)。

眾所周知，老電影的修復(fù)工藝往往是復(fù)雜且瑣碎的，要?dú)v經(jīng)物理修復(fù)、數(shù)字修復(fù)、藝術(shù)修復(fù)等步驟。一位經(jīng)驗(yàn)豐富的修復(fù)師需要長達(dá)1個(gè)月的時(shí)間才能夠修復(fù)完成一部影片。

但隨著深度學(xué)習(xí)AI技術(shù)的發(fā)展，老片修復(fù)的質(zhì)量和效率正在進(jìn)一步提升。

2021年7月，火山引擎曾首次面向企業(yè)推出了“智能處理”工具包，將經(jīng)過抖音打磨和驗(yàn)證的同款技術(shù)對(duì)外輸出。目前，火山引擎視頻云已經(jīng)形成了更為完整的智能處理系統(tǒng)，以老片修復(fù)為代表場(chǎng)景的畫質(zhì)增強(qiáng)技術(shù)是其中一項(xiàng)子功能。

與此同時(shí)，據(jù)Tech星球了解，控制模型的邊界條件、強(qiáng)化高質(zhì)量生成空間等手段，火山引擎視頻云提升了大模型的圖像輸出質(zhì)量。通過采用設(shè)計(jì)時(shí)域的自編碼器、光流特征對(duì)齊、時(shí)域條件約束等技術(shù)手段，讓大模型在修復(fù)的過程中能夠完整使用前后幀的信息，更好地處理視頻任務(wù)。

當(dāng)下，這樣的技術(shù)也被應(yīng)用在虛擬演播室之中。在火山引擎視頻云與云創(chuàng)智媒的合作中，為央視提供技術(shù)支持，破除環(huán)境局限、降低硬件成本和專業(yè)門檻是核心目標(biāo)。

在這樣的目標(biāo)背后，火山引擎視頻云基于中臺(tái)算力部署，進(jìn)行云渲染制作，能夠?qū)崿F(xiàn)可視化交互流程和無綠幕摳像的能力。此外，通過整合火山引擎視頻云AI能力，其搭建媒體生產(chǎn)AI處理平臺(tái)。據(jù)云創(chuàng)介紹，基于云渲染的分布式部署架構(gòu)，能夠?qū)崿F(xiàn)AI能力的按需調(diào)用。

不僅在傳媒領(lǐng)域，千行百業(yè)視頻內(nèi)容的爆發(fā)，對(duì)創(chuàng)作工具提出了更高要求，為了幫助企業(yè)高效生產(chǎn)內(nèi)容，火山引擎視頻云團(tuán)隊(duì)與智能創(chuàng)作云團(tuán)隊(duì)正在為企業(yè)提供智能、快速、批量的視頻創(chuàng)作工具，涵蓋從創(chuàng)意策劃、內(nèi)容制作、內(nèi)容管理、內(nèi)容發(fā)布、數(shù)據(jù)反饋的創(chuàng)作全流程。

通過智能創(chuàng)作，抖音店鋪通過精彩的短視頻或是生動(dòng)的直播實(shí)現(xiàn)拉新，金融行業(yè)數(shù)字人直播通過內(nèi)容促活，激發(fā)業(yè)務(wù)增長，自如通過VR看房提升效率的同時(shí)，也大大增加了轉(zhuǎn)化率。

火山引擎融合AIGC，正在實(shí)現(xiàn)腳本的撰寫、改寫和擴(kuò)寫，并通過文生圖的能力制作海報(bào)，這些AI工具大大地解放了生產(chǎn)力，讓企業(yè)有了更大膽的創(chuàng)新空間。

不局限于內(nèi)容生產(chǎn)，AI同樣在改變虛擬數(shù)字人的誕生。

針對(duì)虛擬數(shù)字人，火山引擎推動(dòng)了形象自然寫實(shí)、海量音庫、交互技術(shù)閉環(huán)的升級(jí)。分別對(duì)應(yīng)于虛擬數(shù)字人聲音復(fù)刻、任意模態(tài)合成音效、超擬人效果等。

其中，形象自然寫實(shí)技術(shù)支持2D真人、3D卡通、3D超寫實(shí)全類型形象定制，同時(shí)支持低成本真人1:1形象復(fù)刻。

音庫則能夠適配汽車、金融、新聞播報(bào)、政府等多個(gè)核心領(lǐng)域，支持10余種語種和方言。

據(jù)火山引擎具體介紹，聲音復(fù)刻的自然度高達(dá)4.6分，能夠充分利用低質(zhì)量海量音頻數(shù)據(jù)，對(duì)其中的口音、風(fēng)格、情感進(jìn)行解耦并建模，從而存儲(chǔ)大量音頻屬性，實(shí)現(xiàn)應(yīng)用中的自由遷移。

在合成音效上，用戶可以輸入任意文字來合成想要的音效，并結(jié)合開源數(shù)據(jù)進(jìn)行訓(xùn)練。在超擬人效果上，通過利用低質(zhì)量海量視頻數(shù)據(jù)建立起的通用數(shù)字人基礎(chǔ)大模型，能夠生成表情、動(dòng)作、聲音更協(xié)同的數(shù)字人。

2022年，火山引擎曾推出了以云為底座的一系列產(chǎn)品解決方案，這個(gè)脫胎于字節(jié)跳動(dòng)快速發(fā)展過程中的云服務(wù)平臺(tái)，持續(xù)將積累的增長方法、技術(shù)能力和應(yīng)用工具開放給外部企業(yè)。

而此次，隨著軟硬件的升級(jí)和場(chǎng)景的持續(xù)落地，在與AIGC結(jié)合的大趨勢(shì)下，火山引擎視頻云所打造的“智能視頻”正在改變?cè)镜慕换シ绞剑瑥臉I(yè)務(wù)應(yīng)用的角度上持續(xù)提升視頻內(nèi)容成產(chǎn)效率。

盡管當(dāng)下視頻云還處在技術(shù)競爭時(shí)代，能力模型的同質(zhì)化明顯，但當(dāng)產(chǎn)品進(jìn)入行業(yè)落地和場(chǎng)景應(yīng)用時(shí)，基于AIGC能力的深化，打造軟硬協(xié)同的一體化能力將成為下半場(chǎng)行業(yè)競爭的關(guān)鍵。