近日，國(guó)際計(jì)算機(jī)視覺(jué)大會(huì) ICCV 2023（International Conference on Computer Vision，簡(jiǎn)稱ICCV）在法國(guó)巴黎召開(kāi)。傳音影像團(tuán)隊(duì)與哈爾濱工業(yè)大學(xué)機(jī)器學(xué)習(xí)研究中心合作完成的圖像超分辨領(lǐng)域的論文“MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces”被ICCV 2023接收。該論文為圖像復(fù)原領(lǐng)域的技術(shù)難題提供了新思路，且能應(yīng)用在智能移動(dòng)終端產(chǎn)品圖像和視頻功能上，具有廣泛的應(yīng)用場(chǎng)景。
ICCV國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)每2年舉辦一次，由IEEE（Institute of Electrical and Electronics Engineers，簡(jiǎn)稱IEEE）主辦，與計(jì)算機(jī)視覺(jué)模式識(shí)別大會(huì)（IEEE Conference on Computer Vision and Pattern Recognition，CVPR）、歐洲計(jì)算機(jī)視覺(jué)大會(huì)（European Conference on Computer Vision，ECCV）并稱為計(jì)算機(jī)視覺(jué)三大頂級(jí)會(huì)議。ICCV屬于CCF A（Core Conference Ranking A）類會(huì)議，錄用率在20%-30%之間，在計(jì)算機(jī)視覺(jué)領(lǐng)域具備極高的學(xué)術(shù)影響力。本屆會(huì)議共收到全球8068篇論文投稿，2160篇被錄取，錄用率為26.77%。
圖像超分辨率技術(shù)旨在通過(guò)先進(jìn)的計(jì)算機(jī)視覺(jué)算法和深度學(xué)習(xí)方法，將低清晰度的圖像轉(zhuǎn)換為高清晰度的圖像，從而恢復(fù)丟失的細(xì)節(jié)和增強(qiáng)圖像質(zhì)量。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，在已知圖像的退化設(shè)定下，很多基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨算法已經(jīng)取得了高質(zhì)量的復(fù)原效果。但是由于真實(shí)世界圖像退化的復(fù)雜性與多樣性，算法的實(shí)際應(yīng)用場(chǎng)景往往是退化未知的場(chǎng)景。因此，如何在未知場(chǎng)景下取得優(yōu)越的圖像超分辨效果，成為了圖像復(fù)原領(lǐng)域一項(xiàng)重要的技術(shù)難題。
此次傳音影像部在ICCV上發(fā)表的論文MetaF2N充分利用了人臉本身五官所具有的結(jié)構(gòu)性先驗(yàn)，在模型的訓(xùn)練及推理過(guò)程中加入了元學(xué)習(xí)（Meta-Learning）框架，通過(guò)人臉特有的先驗(yàn)信息對(duì)整張圖像的退化類型進(jìn)行了隱式估計(jì)。同時(shí)，MetaF2N還利用人臉權(quán)重估計(jì)網(wǎng)絡(luò)MaskNet對(duì)人臉先驗(yàn)信息進(jìn)行了評(píng)估與權(quán)重分配，來(lái)預(yù)防不準(zhǔn)確的人臉先驗(yàn)信息對(duì)結(jié)果產(chǎn)生的負(fù)面影響，并在對(duì)應(yīng)的數(shù)據(jù)集上實(shí)現(xiàn)了領(lǐng)先的圖像超分辨效果。
、
隨著自媒體平臺(tái)的興起和短視頻的普及，用戶對(duì)于顯示內(nèi)容與攝影效果的清晰程度也有了更高的要求。除了對(duì)圖像增強(qiáng)外，圖像超分辨率技術(shù)也被廣泛應(yīng)用于視頻領(lǐng)域，通過(guò)將低分辨率視頻幀轉(zhuǎn)換為高分辨率，可以顯著提高視頻畫質(zhì)和清晰度。此次論文研究成果，也可作為高清人像復(fù)原技術(shù)向通用圖像復(fù)原技術(shù)的遷移的技術(shù)研究基礎(chǔ)，后續(xù)將應(yīng)用在智能移動(dòng)終端產(chǎn)品圖像和視頻功能中。
多年來(lái)，傳音影像團(tuán)隊(duì)持續(xù)深耕移動(dòng)攝影、圖像技術(shù)，在相關(guān)領(lǐng)域不斷建立和完善的技術(shù)創(chuàng)新體系，形成持續(xù)的創(chuàng)新能力，打造產(chǎn)品影像技術(shù)的領(lǐng)先優(yōu)勢(shì)。未來(lái)，傳音影像團(tuán)隊(duì)將繼續(xù)推進(jìn)圖像超分辨技術(shù)的迭代和應(yīng)用，賦能公司多品牌智能終端產(chǎn)品，為新興市場(chǎng)消費(fèi)者帶來(lái)更高清的影像體驗(yàn)。
