近日,國際計算機視覺大會 ICCV 2023(International Conference on Computer Vision,簡稱ICCV)在法國巴黎召開。傳音影像團隊與哈爾濱工業大學機器學習研究中心合作完成的圖像超分辨領域的論文“MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces”被ICCV 2023接收。該論文為圖像復原領域的技術難題提供了新思路,且能應用在智能移動終端產品圖像和視頻功能上,具有廣泛的應用場景。
ICCV國際計算機視覺大會每2年舉辦一次,由IEEE(Institute of Electrical and Electronics Engineers,簡稱IEEE)主辦,與計算機視覺模式識別大會(IEEE Conference on Computer Vision and Pattern Recognition,CVPR)、歐洲計算機視覺大會(European Conference on Computer Vision,ECCV)并稱為計算機視覺三大頂級會議。ICCV屬于CCF A(Core Conference Ranking A)類會議,錄用率在20%-30%之間,在計算機視覺領域具備極高的學術影響力。本屆會議共收到全球8068篇論文投稿,2160篇被錄取,錄用率為26.77%。
圖像超分辨率技術旨在通過先進的計算機視覺算法和深度學習方法,將低清晰度的圖像轉換為高清晰度的圖像,從而恢復丟失的細節和增強圖像質量。隨著深度學習技術的發展,在已知圖像的退化設定下,很多基于深度神經網絡的圖像超分辨算法已經取得了高質量的復原效果。但是由于真實世界圖像退化的復雜性與多樣性,算法的實際應用場景往往是退化未知的場景。因此,如何在未知場景下取得優越的圖像超分辨效果,成為了圖像復原領域一項重要的技術難題。
此次傳音影像部在ICCV上發表的論文MetaF2N充分利用了人臉本身五官所具有的結構性先驗,在模型的訓練及推理過程中加入了元學習(Meta-Learning)框架,通過人臉特有的先驗信息對整張圖像的退化類型進行了隱式估計。同時,MetaF2N還利用人臉權重估計網絡MaskNet對人臉先驗信息進行了評估與權重分配,來預防不準確的人臉先驗信息對結果產生的負面影響,并在對應的數據集上實現了領先的圖像超分辨效果。
、
隨著自媒體平臺的興起和短視頻的普及,用戶對于顯示內容與攝影效果的清晰程度也有了更高的要求。除了對圖像增強外,圖像超分辨率技術也被廣泛應用于視頻領域,通過將低分辨率視頻幀轉換為高分辨率,可以顯著提高視頻畫質和清晰度。此次論文研究成果,也可作為高清人像復原技術向通用圖像復原技術的遷移的技術研究基礎,后續將應用在智能移動終端產品圖像和視頻功能中。
多年來,傳音影像團隊持續深耕移動攝影、圖像技術,在相關領域不斷建立和完善的技術創新體系,形成持續的創新能力,打造產品影像技術的領先優勢。未來,傳音影像團隊將繼續推進圖像超分辨技術的迭代和應用,賦能公司多品牌智能終端產品,為新興市場消費者帶來更高清的影像體驗。