來源 | Tech星球
文 | 任雪蕓
當(dāng)視頻作為信息傳遞模式出現(xiàn)，文字、數(shù)據(jù)、聲音在視頻相襯之下顯得相對冗長和單調(diào)。于是，谷歌在2015年就給出了這樣的預(yù)測：“未來互聯(lián)網(wǎng)世界80%的內(nèi)容將是以視頻形式呈現(xiàn)的。”
隨之抖音、快手為代表的新一代現(xiàn)象級應(yīng)用的誕生，使得短視頻賽道全面爆發(fā)。
不同于有組織的數(shù)據(jù)，以視頻和圖片為主的非結(jié)構(gòu)化數(shù)據(jù)快速增長，為企業(yè)的帶寬和性能帶來巨大壓力。隨著越來越多的企業(yè)關(guān)注視頻，各類廠商對視頻云的需求與日俱增，視頻云隨之?dāng)U張。
據(jù)艾瑞咨詢提供的數(shù)據(jù)報告顯示，從2022年到2027年中國音視頻云服務(wù)的市場規(guī)模復(fù)核增長率將達(dá)到24.4%。內(nèi)容視頻化的趨勢帶動了視頻云行業(yè)的增長，但市場規(guī)模持續(xù)擴(kuò)大的背后，關(guān)乎于用戶體驗的視頻質(zhì)量，需要視頻云廠商為此不斷提供底層算力支持與視頻技術(shù)的優(yōu)化。
早在今年4月份，春季火山引擎 FORCE 原動力大會上，火山引擎總裁譚待就指出，更高清、更互動、更沉浸是消費(fèi)者視頻體驗提升的三個關(guān)鍵方向。
為此，面對這一市場趨勢，火山引擎持續(xù)基于技術(shù)能力的提升和解決方案的迭代，為企業(yè)視頻化服務(wù)提供新的增長動力。8月22日，火山引擎舉辦視頻云&AIGC技術(shù)大會，基于軟硬件技術(shù)的一體化創(chuàng)新推動了視頻云行業(yè)的新變革。
更清晰、更暢快的視頻體驗
視頻體驗的每一次優(yōu)化，其本質(zhì)都是背后技術(shù)的突破與演進(jìn)。
伴隨著視頻規(guī)模的持續(xù)增長，用戶對視頻清晰度體驗的追求持續(xù)提升，而網(wǎng)絡(luò)和終端硬件設(shè)備也在不斷進(jìn)行迭代。不能否認(rèn)的是，在視頻數(shù)字化趨勢之后，超高清化的視頻讓各大廠商面臨著持續(xù)且重大的技術(shù)革新。
從移動互聯(lián)網(wǎng)終端觀看分辨率去看，早先的360P、480P幾乎被用戶拋棄，當(dāng)下用戶的選擇逐步從720P、1080P走向4K、8K這類超高清視頻。不局限于清晰度本身，當(dāng)下沉浸式的視頻體驗同時也會追求更高幀率，和更寬的色域。
在“更清晰”、“更暢快”的需求背后，表面上是分辨率和幀率的提升，以及色域的增強(qiáng)。但從視頻云所肩負(fù)的責(zé)任出發(fā)，其面臨的則是視頻信息量的成倍增加。用戶所需要的極致視頻體驗和帶寬、計算成本、編碼速度之間的沖突在不斷加深。
與此同時，當(dāng)下以AIGC為代表的AI能力、Apple Vision為代表的MR/XR等技術(shù)正迅速崛起，隨著這些技術(shù)的飛速發(fā)展，物理世界與虛擬世界的壁壘不斷被打破。
基于技術(shù)方案的升級，如何實現(xiàn)各場景中終端用戶對沉浸式、智能化視頻的需求成為了擺在眼下的難題。
作為字節(jié)跳動旗下的云服務(wù)平臺，火山引擎在產(chǎn)業(yè)端深度覆蓋了抖音等字節(jié)系A(chǔ)pp，通過長期服務(wù)抖音、西瓜視頻、飛書等產(chǎn)品，沉淀積累了包括視頻點(diǎn)播、直播、實時音視頻、云游戲和云渲染等產(chǎn)品在內(nèi)的大量經(jīng)驗和解決方案，可提供視頻的全鏈路技術(shù)服務(wù)。
而內(nèi)部業(yè)務(wù)的高速循環(huán)推動了火山引擎的持續(xù)增長和創(chuàng)新需求的爆發(fā)。于是，從2022年起，火山引擎就推出了以云為底座的一系列產(chǎn)品解決方案，包括企業(yè)上云和智能營銷通用方案。
此次，火山引擎視頻云技術(shù)能力繼續(xù)升級，基于軟硬件的迭代和AIGC技術(shù)的成熟，對于各場景視頻云的應(yīng)用給出了新的解法：既要實現(xiàn)軟硬協(xié)同，又要深度自研。
打造軟硬協(xié)同的一體化能力
在這次大會上，火山引擎發(fā)布了一款自研視頻編解碼芯片。相對于行業(yè)主流硬件編碼器，這款芯片能夠帶來30%左右的效率提升。
在具體的業(yè)務(wù)場景應(yīng)用上，這款芯片所具備的超高算力密度能對大量，甚至全量的點(diǎn)播或直播的視頻提供高質(zhì)量的轉(zhuǎn)碼，從而降低業(yè)務(wù)帶寬成本并提升用戶體驗和業(yè)務(wù)指標(biāo)。
此外，這款芯片為不同視頻場景提供不同的算力支持，火山引擎實現(xiàn)了通用算力到異構(gòu)算力的跨越，除了ASIC算力的自研芯片外，火山引擎FPGA硬件編解碼器曾獲得多項國際賽事獎項。據(jù)Tech星球了解，自研的高密度ARM陣列服務(wù)器能夠為用戶提供極具性價比的算力，相比x86資源，可以節(jié)省40%以上的成本。
構(gòu)建在異構(gòu)算力之上，在視頻中，基于提升用戶體驗和降低成本的角度出發(fā)，其往往需要經(jīng)歷轉(zhuǎn)碼、編輯、分析，圖片處理等各類視頻處理方式，在這些能力背后，一個視頻底層的處理系統(tǒng)支撐著上層業(yè)務(wù)的流轉(zhuǎn)。
以BMF框架為例，作為一個動態(tài)多媒體處理框架，其目標(biāo)是把所有多媒體處理的原子能力進(jìn)行插件化管理，然后提高系統(tǒng)的可擴(kuò)展性以及開發(fā)和運(yùn)維的效率。
隨著字節(jié)自身短視頻和圖片業(yè)務(wù)的井噴式增長，BMF最終跳脫于傳統(tǒng)框架，實現(xiàn)了對視頻生產(chǎn)、下發(fā)、到播放等全鏈路視頻周期的覆蓋。在此次產(chǎn)品升級中，火山引擎方面表示，BMF框架的功能多樣性、易用性、兼容性、穩(wěn)定性和性能得到了充分的打磨，因此，正式對外實現(xiàn)開源。
當(dāng)下自研芯片、ARM陣列服務(wù)器和BMF框架開源已經(jīng)成為了火山引擎視頻云的基礎(chǔ)底座。隨著這些技術(shù)能力的進(jìn)一步釋放，以及智能汽車、金融、醫(yī)療、社交等新場景的不斷豐富，視頻云技術(shù)得到了持續(xù)的擴(kuò)展。
此外，綜合考慮到客戶各類需求，當(dāng)下視頻云廠商們越來越傾向于提供整合能力 ，基于客戶使用的實際場景靈活切換使用。
以自動駕駛場景為例，毫末智行與火山引擎攜手打造了遠(yuǎn)程駕艙及運(yùn)營平臺產(chǎn)品，支持監(jiān)督、脫困豐富介入模式，鍵鼠、手柄、駕駛模擬器多種部署方式，而且實現(xiàn)了低卡頓、低時延、低帶寬占用。
這款產(chǎn)品目前已經(jīng)應(yīng)用到毫末智行全棧自研的末端物流自動配送車小魔駝之上，能夠在遠(yuǎn)程車控場景中實現(xiàn)車機(jī)視頻采集和遠(yuǎn)端操作員的同步，以此保證駕駛操作安全、可靠、穩(wěn)定。
根據(jù)數(shù)據(jù)顯示，基于毫末智行與火山引擎打造的這款產(chǎn)品，在駕倉的應(yīng)用中，視頻的卡頓率能夠降低到0.3%，視頻端到端的時延能夠達(dá)到100ms，同等清晰度的情況下，帶寬的占用減少30%左右。
目前，火山引擎視頻云在云游戲、金融直播審核、互動營銷、智慧汽車、互娛等領(lǐng)域已經(jīng)成為了基礎(chǔ)設(shè)施，在各類場景的使用中，它一直在為“更高清”、“更交互”、“更沉浸”的視頻體驗做出努力。
探索AIGC和視頻云的邊界
對于視頻云行業(yè)的玩家們而言，在提供給用戶超高清和超低時延、強(qiáng)融合的視頻平臺背后，云廠商們需要具備底層強(qiáng)大的算力支持，還需要利用以AIGC為代表的技術(shù)推動內(nèi)容生成。
自ChatGPT發(fā)布以來，AIGC如同打開了創(chuàng)新之門，各種類型的AI創(chuàng)新產(chǎn)品持續(xù)出現(xiàn)，隨著AIGC的技術(shù)迭代，AI能力應(yīng)用于視頻愈加普遍。
以視覺大模型應(yīng)用于影視修復(fù)為例，這是火山引擎在近日聯(lián)合抖音做的項目——對100部香港經(jīng)典老電影進(jìn)行4K修復(fù)。
眾所周知，老電影的修復(fù)工藝往往是復(fù)雜且瑣碎的，要?dú)v經(jīng)物理修復(fù)、數(shù)字修復(fù)、藝術(shù)修復(fù)等步驟。一位經(jīng)驗豐富的修復(fù)師需要長達(dá)1個月的時間才能夠修復(fù)完成一部影片。
但隨著深度學(xué)習(xí)AI技術(shù)的發(fā)展，老片修復(fù)的質(zhì)量和效率正在進(jìn)一步提升。
2021年7月，火山引擎曾首次面向企業(yè)推出了“智能處理”工具包，將經(jīng)過抖音打磨和驗證的同款技術(shù)對外輸出。目前，火山引擎視頻云已經(jīng)形成了更為完整的智能處理系統(tǒng)，以老片修復(fù)為代表場景的畫質(zhì)增強(qiáng)技術(shù)是其中一項子功能。
與此同時，據(jù)Tech星球了解，控制模型的邊界條件、強(qiáng)化高質(zhì)量生成空間等手段，火山引擎視頻云提升了大模型的圖像輸出質(zhì)量。通過采用設(shè)計時域的自編碼器、光流特征對齊、時域條件約束等技術(shù)手段，讓大模型在修復(fù)的過程中能夠完整使用前后幀的信息，更好地處理視頻任務(wù)。
當(dāng)下，這樣的技術(shù)也被應(yīng)用在虛擬演播室之中。在火山引擎視頻云與云創(chuàng)智媒的合作中，為央視提供技術(shù)支持，破除環(huán)境局限、降低硬件成本和專業(yè)門檻是核心目標(biāo)。
在這樣的目標(biāo)背后，火山引擎視頻云基于中臺算力部署，進(jìn)行云渲染制作，能夠?qū)崿F(xiàn)可視化交互流程和無綠幕摳像的能力。此外，通過整合火山引擎視頻云AI能力，其搭建媒體生產(chǎn)AI處理平臺。據(jù)云創(chuàng)介紹，基于云渲染的分布式部署架構(gòu)，能夠?qū)崿F(xiàn)AI能力的按需調(diào)用。
不僅在傳媒領(lǐng)域，千行百業(yè)視頻內(nèi)容的爆發(fā)，對創(chuàng)作工具提出了更高要求，為了幫助企業(yè)高效生產(chǎn)內(nèi)容，火山引擎視頻云團(tuán)隊與智能創(chuàng)作云團(tuán)隊正在為企業(yè)提供智能、快速、批量的視頻創(chuàng)作工具，涵蓋從創(chuàng)意策劃、內(nèi)容制作、內(nèi)容管理、內(nèi)容發(fā)布、數(shù)據(jù)反饋的創(chuàng)作全流程。
通過智能創(chuàng)作，抖音店鋪通過精彩的短視頻或是生動的直播實現(xiàn)拉新，金融行業(yè)數(shù)字人直播通過內(nèi)容促活，激發(fā)業(yè)務(wù)增長，自如通過VR看房提升效率的同時，也大大增加了轉(zhuǎn)化率。
火山引擎融合AIGC，正在實現(xiàn)腳本的撰寫、改寫和擴(kuò)寫，并通過文生圖的能力制作海報，這些AI工具大大地解放了生產(chǎn)力，讓企業(yè)有了更大膽的創(chuàng)新空間。
不局限于內(nèi)容生產(chǎn)，AI同樣在改變虛擬數(shù)字人的誕生。
針對虛擬數(shù)字人，火山引擎推動了形象自然寫實、海量音庫、交互技術(shù)閉環(huán)的升級。分別對應(yīng)于虛擬數(shù)字人聲音復(fù)刻、任意模態(tài)合成音效、超擬人效果等。
其中，形象自然寫實技術(shù)支持2D真人、3D卡通、3D超寫實全類型形象定制，同時支持低成本真人1:1形象復(fù)刻。
音庫則能夠適配汽車、金融、新聞播報、政府等多個核心領(lǐng)域，支持10余種語種和方言。
據(jù)火山引擎具體介紹，聲音復(fù)刻的自然度高達(dá)4.6分，能夠充分利用低質(zhì)量海量音頻數(shù)據(jù)，對其中的口音、風(fēng)格、情感進(jìn)行解耦并建模，從而存儲大量音頻屬性，實現(xiàn)應(yīng)用中的自由遷移。
在合成音效上，用戶可以輸入任意文字來合成想要的音效，并結(jié)合開源數(shù)據(jù)進(jìn)行訓(xùn)練。在超擬人效果上，通過利用低質(zhì)量海量視頻數(shù)據(jù)建立起的通用數(shù)字人基礎(chǔ)大模型，能夠生成表情、動作、聲音更協(xié)同的數(shù)字人。
2022年，火山引擎曾推出了以云為底座的一系列產(chǎn)品解決方案，這個脫胎于字節(jié)跳動快速發(fā)展過程中的云服務(wù)平臺，持續(xù)將積累的增長方法、技術(shù)能力和應(yīng)用工具開放給外部企業(yè)。
而此次，隨著軟硬件的升級和場景的持續(xù)落地，在與AIGC結(jié)合的大趨勢下，火山引擎視頻云所打造的“智能視頻”正在改變原本的交互方式，從業(yè)務(wù)應(yīng)用的角度上持續(xù)提升視頻內(nèi)容成產(chǎn)效率。
盡管當(dāng)下視頻云還處在技術(shù)競爭時代，能力模型的同質(zhì)化明顯，但當(dāng)產(chǎn)品進(jìn)入行業(yè)落地和場景應(yīng)用時，基于AIGC能力的深化，打造軟硬協(xié)同的一體化能力將成為下半場行業(yè)競爭的關(guān)鍵。
