什么是沉浸式觀影體驗？
我們希望畫面中每一處細節(jié)都能清晰細膩地呈現(xiàn)；那些疾馳而過的動態(tài)影像，都擁有高清流暢的觀感；飽和豐富的色彩，帶來強烈的視覺沖擊；聲音環(huán)繞在身邊，打造全方位的震撼音效......來「快手放映廳」，只需點擊“質(zhì)臻影音”，就可以親歷一場極致的視聽之旅。
1月25日小年夜，快手App「放映廳」頻道正式營業(yè)，為全面提升用戶在畫質(zhì)、音質(zhì)上的消費體驗，音視頻技術團隊推出了質(zhì)臻影音檔位。春節(jié)期間，「放映廳」最高單日有超過5000w用戶點擊進入，極大激發(fā)了用戶觀影熱情。其背后的“質(zhì)臻影音”擁有著怎樣的魔力，是如何定義出極致音畫體驗的呢？
質(zhì)臻影音融合多種視頻智能修復及增強技術，打造沉浸式觀影體驗。音視頻技術團隊希望不僅請“全國人民免費看”，更要在設備能力范圍內(nèi)，提供給用戶最好的視聽體驗。隨著手機等終端設備的技術迭代和發(fā)展，終端的解碼和顯示能力不斷提升，如支持高分辨率顯示，支持高刷新率以及支持HDR顯示效果。越來越多的用戶可以在手機上流暢播放1080P甚至4K分辨率的高清視頻，60fps或120fps的高刷新率視頻，以及色彩細膩的HDR視頻；揚聲器的升級也帶來了更具空間感的全景立體聲。針對這些方向，質(zhì)臻影音實現(xiàn)高分辨率，高幀率，HDR，3D環(huán)繞聲場四大效果，顯著提升用戶消費體驗。
在放映廳，質(zhì)臻影音擁有1080P和4K兩個檔位，可以根據(jù)用戶的手機型號和網(wǎng)絡情況智能化選擇合適的分辨率版本；對于支持HDR解碼和顯示的機型，提供HDR版本以展現(xiàn)最佳色彩表現(xiàn)，而對于不支持HDR的機型，也相應提供了SDR+版本，模擬HDR效果。根據(jù)用戶手機設備分布情況，團隊定制了增強檔位版本，力爭讓每位用戶在不卡頓、低功耗的情況下獲得最佳播放體驗。
在質(zhì)臻影音，哪些影片被修復？
快手放映廳的視頻種類繁多，集合了海量影、劇、綜內(nèi)容，但影像質(zhì)量有所差異。“無論視頻源質(zhì)量如何，能否都讓用戶在這里收獲更清晰、更流暢的觀看體驗？”面對這一問題，團隊將此次重點修復和增強的視頻源進行了分類，力爭全方位提升視頻質(zhì)量。
經(jīng)典重現(xiàn)，煥發(fā)光彩
年代久遠的經(jīng)典老電影是此次修復的重點對象，例如《唐伯虎點秋香》《英雄本色》等。這些影片拍攝時間較為久遠，其拍攝設備、拍攝方式以及影片處理和剪輯技術等不夠先進，都會不同程度地影響視頻質(zhì)量，產(chǎn)生如毛刺、噪聲、劃痕以及視頻塊效應等問題。
如何修復這些經(jīng)典影片，使其“舊貌換新顏”，是一項棘手的工作。音視頻技術團隊開發(fā)和優(yōu)化了多個維度的修復處理算法，有效消除視頻中的低質(zhì)現(xiàn)象，改善視頻源畫質(zhì)，提升用戶在視頻畫質(zhì)和視頻內(nèi)容雙維度的消費體驗。
身臨其境，讓清晰更進一步
對于近幾年的影視作品，視頻在清晰度和畫質(zhì)上相對較好，例如《你的名字》《少年的你》等，是否有辦法讓畫質(zhì)清晰度進一步提升呢？這成為了此次工作中另一攻堅方向。通過不斷嘗試，團隊融合了增強類算法，提升了失焦模糊、紋理邊緣較弱等場景的清晰度。
而一些存在獨特風格的影片，例如電影《一代宗師》，其包含大量暗光場景，頻繁出現(xiàn)的暗光噪聲會影響觀影體驗。針對這種個性化問題，技術團隊采用修復算法去除視頻中暗光噪聲，優(yōu)化視頻畫質(zhì)。
在放映廳中，此次質(zhì)臻影音共修復和增強了數(shù)百部影片，對新老影片都進行了不同程度的優(yōu)化，無論是何種電影風格，都能得到全方位提升。
“質(zhì)臻影音”背后的神秘算法
質(zhì)臻影音這個產(chǎn)品，都會用到哪些神秘算法呢？畫質(zhì)、音質(zhì)又經(jīng)歷了怎樣的技術加持？
針對視頻中普遍存在的畫質(zhì)問題，技術團隊開發(fā)了多維度的修復和增強算法，改善視頻畫質(zhì)。為了讓用戶消費更加細膩清晰的視頻，團隊為修復后的視頻使用了4K超分辨率算法，讓分辨率和清晰度都“更上一層樓”。在音質(zhì)層面，采用了對白增強，低音增強，聲場拓寬等音頻增強手段，讓聲音更高級，更通透，立體環(huán)繞感更強。
對于《槍王》《英雄本色》等經(jīng)典老影片，由于拍攝方法、膠片處理、暗光環(huán)境等諸多因素，易產(chǎn)生噪聲、劃痕以及塊效應等問題，技術團隊針對性地設計了不同修復算法，實現(xiàn)“點對點”精準解決方案。通過調(diào)用不同修復算法能力，修復后的視頻可以明顯抑制原素材中噪聲、視頻塊效應等問題，觀影體驗大幅提升，讓老電影也能像經(jīng)歷了數(shù)字電影拍攝方法一樣呈現(xiàn)高質(zhì)量畫質(zhì)。
電影《英雄本色2》
（左：高清檔位；右：質(zhì)臻影音檔位）
針對畫質(zhì)較好的影片，為了進一步提升消費體驗，技術團隊開發(fā)了去模糊算法。該算法主要針對視頻中失焦模糊、編碼模糊、運動模糊以及降采樣模糊等多種類型問題進行清晰度增強處理。去模糊能力的通用化是經(jīng)典的ill-pose問題（不適定問題），針對這個問題，團隊從數(shù)據(jù)構(gòu)建和模型結(jié)構(gòu)優(yōu)化兩個方向上進行解決。為了有效模擬視頻模糊，對于線上海量模糊視頻預測求解模糊核，在得到模糊核后對于高清視頻進行模糊退化；同時，針對采樣模糊和編碼模糊，在模糊核退化的基礎上增加了上下采樣模糊和不同視頻碼率的模糊退化，從而構(gòu)建貼合真實場景的模糊數(shù)據(jù)集。
針對視頻任務場景，團隊采樣時序性多幀融合視頻處理框架，有效利用幀間信息，提升模型在視頻任務上處理精度。在采用視頻去模糊增強技術后，視頻中邊緣和紋理清晰度明顯提升，這項技術對字幕場景、動畫類影視內(nèi)容尤為重要。
電影《開國大典》
（左：高清檔位；右：質(zhì)臻影音檔位）
電影《你的名字》
（左：高清檔位；右：質(zhì)臻影音檔位）
針對修復后的1080P視頻，團隊研發(fā)了4K視頻超分辨率算法，對高分辨率視頻提供多倍超分辨率能力。為避免超分辨率算法產(chǎn)生的過平滑問題，團隊還對高分辨率場景SR算法進行針對性優(yōu)化，其中最為主要的是在模型結(jié)構(gòu)設計和模型優(yōu)化求解中，著重視頻邊緣保護和紋理生成，保證視頻超分辨率后清晰度進一步提升，讓視頻畫質(zhì)更加細膩、清晰和自然。
電影《唐伯虎點秋香》
（左：高清檔位；右：質(zhì)臻影音檔位）
電影《天下無賊》
（左：高清檔位；右：質(zhì)臻影音檔位）
智能觸發(fā)：為畫面提供定制化處理策略
由于每部影片存在的畫質(zhì)問題差異化很大，如何對放映廳中的海量視頻進行定制化處理策略呢？面對這一挑戰(zhàn)，團隊設計了智能觸發(fā)對應修復增強能力算子的機制，可實現(xiàn)自適應處理，從而改善每個視頻中存在的特定畫質(zhì)問題。
具體來看，在有了Deart、Deblur、SR等這些增強處理的原子算法之后，具體到每個視頻，需要對算法進行排列組合以達到最優(yōu)畫質(zhì)。同時，為了盡可能保留增強的細節(jié)，前處理參數(shù)和編碼參數(shù)也需要做一些針對性適配和調(diào)整。因此，通過選取合適的增強算法、前處理參數(shù)和編碼參數(shù)，以達到轉(zhuǎn)碼后的碼率和質(zhì)量最佳的trade-off是需要深入研究的技術問題。
在快速讓每條視頻智能化找到最優(yōu)解的方向上，算法同學的方案是先構(gòu)建一個搜索空間，包含所有原子算法的排列組合方式，每種方式下都可以獲得轉(zhuǎn)碼后的視頻，團隊使用快手自研的視頻質(zhì)量檢測算法的分數(shù)對視頻畫質(zhì)進行衡量，得到Rate分數(shù)曲線，從中選擇一個最優(yōu)的組合方式作為目標GT。
考慮到機器成本，在實際應用中不能遍歷所有的解空間，團隊基于對視頻內(nèi)容的感知，提取視頻特征，包括復雜度特征和多種深度特征，以上述GT為訓練目標，訓練機器學習模型。
實際的轉(zhuǎn)碼流程如下圖所示：首先對視頻進行內(nèi)容分析，提取特征，使用上述訓練的機器學習模型預測使用的增強算法，前處理和編碼參數(shù)，然后按照預測的結(jié)果進行增強、前處理和編碼操作。
質(zhì)臻影音是快手音視頻技術團隊結(jié)合多年實踐經(jīng)驗及技術積淀，在“視”“聽”極致追求上的一次大力實踐，后續(xù)將在低質(zhì)視頻修復、視頻極致增強等領域不斷探索，期待在更多豐富的應用場景中落地。
如何體驗質(zhì)臻影音？
第一步：
打開快手 App，點擊「放映廳」頻道
第二步：
切換清晰度檔位，選擇「質(zhì)臻影音」。
