在討論一款手機的實力時，影像是其中最重要的評判維度之一。隨著手機攝影的發(fā)展，許多之前困擾手機的拍照難題，都迎來了行之有效的解決方案。其中，自研影像芯片成為移動影像迭代的一個核心方向，讓手機能夠在暗光和運動場景等一些高挑戰(zhàn)性場景中拍出好照片。
如今，一聊到自研芯片，很多熟悉數(shù)碼圈的朋友第一時間想到的可能就是藍廠了。2021年，vivo X70系列攜vivo自研芯片V1發(fā)布，實現(xiàn)更好的夜景成像效果，加之vivo對影像技術(shù)的大力投入，使得X系列獲得了極高的市場與消費者口碑。從X70系列之后，手機行業(yè)也正式掀起了自研影像芯片的潮流。
在剛剛結(jié)束的影像戰(zhàn)略發(fā)布會上，vivo展示了其完善的影像技術(shù)矩陣。作為影像算法升級的最有力保障，vivo宣布將在下一代自研芯片設(shè)計中升級全新的架構(gòu)——從傳統(tǒng)ISP架構(gòu)升級為AI ISP架構(gòu)，進一步提升影像效果體驗。
那么問題來了，AI-ISP是什么？
傳統(tǒng)ISP架構(gòu)雖然能以極低延時處理大量的數(shù)據(jù)流水，但只能解決已知的、特定的問題，面對復(fù)雜、隨機問題時則會面臨巨大的困難。而AI擅長處理復(fù)雜的、未知的問題。因此，將傳統(tǒng) ISP 低延時、高能效的特點進一步帶入到 AI 實時處理運算架構(gòu)中，AI-ISP應(yīng)運而生。AI-ISP架構(gòu)結(jié)合兩者的優(yōu)勢，相當(dāng)于給傳統(tǒng)ISP芯片加一個新的AI大腦。
據(jù)vivo介紹，在AI-ISP上集成vivo自研的AI計算單元，讓數(shù)據(jù)吞吐速率、能效比都有了大幅提升，更適合海量的信息處理，因此能實現(xiàn)發(fā)散式的信息處理及存儲，使得處理與存儲的效率大大提高。在此基礎(chǔ)上AI-NR降噪、HDR影調(diào)融合、MEMC插幀等算法效果可以得到極大的優(yōu)化。
那么，NPU與AI-ISP又有什么不同？
相較于傳統(tǒng)的NPU芯片，AI-ISP架構(gòu)可加速 10bit高精度 MAC 深度學(xué)習(xí)加速器，帶來了空前強大的AI計算能效，最大降低了軟件對 NPU 調(diào)度造成的延遲。相比NPU的軟件推理做法，推理延遲較傳統(tǒng)NPU最多降低96%，能效比最高提升200%。
此外，基于AI-ISP架構(gòu)，全新自研芯片的片上內(nèi)存單元實現(xiàn)升級，算力高達1.3萬億bit/s的數(shù)據(jù)吞吐速率。其次升級AI計算單元，DLA加速器峰值能效比達到每瓦16.3 萬億次運算，這個數(shù)據(jù)也讓vivo的AI ISP架構(gòu)達到了行業(yè)的天花板水平。
AI-ISP能夠給手機的拍照體驗帶來哪些顯著的提升？
將夜景、人像和高清視頻作為影像三個主要發(fā)展領(lǐng)域的vivo來說，新的AI-ISP具備的強大影像識別能力無疑能在這三個應(yīng)用場景發(fā)揮重要的作用。
拿視頻舉例，借助超高的數(shù)據(jù)吞吐量和處理能力，視頻錄制時的MEMC插幀算法進一步降低了延遲，特別對運算能力要求更高的夜景視頻。vivo在影像戰(zhàn)略溝通會上展示了采用AI-ISP架構(gòu)的下一代自研芯片機型的視頻拍攝成果。拍攝1080p 60幀（fps）的夜景視頻時，對比上一代機型，無論是畫面的純凈度、細(xì)節(jié)、亮度、寬容度都比之前有了更大的提升。
可以預(yù)見到，搭載全新自研芯片的產(chǎn)品，甚至可以在露營的燈光下，拍到天空中的星點。
從國內(nèi)幾大手機的布局看來，發(fā)力自研芯片是所有人都要走的必經(jīng)之路。而AI ISP的出現(xiàn)，vivo讓手機自研芯片進入了一個全新階段。我們幾乎已經(jīng)可以想象出即將發(fā)布的X90系列會在極限環(huán)境下會有更好的影像表現(xiàn)，特別是視頻錄制方面，讓我們離全天候輕松拍出表現(xiàn)一致的影像又近一步。
