基于多年研發(fā)的CVKit™ NN IP的N1系列SoC芯片刷新了端側(cè)AI芯片性能記錄。領(lǐng)先的每TOPs處理幀數(shù),實時數(shù)據(jù)流處理能力,支持高精度FP16神經(jīng)網(wǎng)絡模型直接無損部署,高性能的INT8網(wǎng)絡支持能力,多級精細功耗控制,將端側(cè)AI芯片的能力提升到了一個新的高度。
01.單位算力下,誰能夠支撐更快更準的神經(jīng)網(wǎng)絡推理,是衡量AI芯片性能的關(guān)鍵
對于AI應用和系統(tǒng)廠商而言,AI芯片是其核心元器件,是人工智能的基礎(chǔ)設(shè)施,其重要性不言而喻。 每個應用和系統(tǒng)廠商都在尋找在性能、功耗、成本等方面綜合因素下合用的AI芯片。 評估AI芯片是否適合使用往往從每元錢能獲得的性能、每度電能獲得的性能、部署實施的成本、元器件是否穩(wěn)定可靠等幾個方面來衡量。其中,芯片廠商宣稱的每TOPs(Tera operations per second)的算力對應的實際每秒計算多少幀數(shù)據(jù)(例如圖片或者視頻),以及算法從訓練到部署的轉(zhuǎn)換中對精度的保持成為關(guān)鍵。每秒計算多少幀數(shù)據(jù)的能力,決定了應用和系統(tǒng)廠商能以什么樣的性價比來部署AI算法;算法從訓練到部署的數(shù)據(jù)類型轉(zhuǎn)換帶來精度損失,決定了應用和系統(tǒng)廠商算法部署前的數(shù)據(jù)投入(比如如何增加數(shù)據(jù)來盡量覆蓋數(shù)據(jù)類型轉(zhuǎn)換所帶來的損失從而保持精度)、和部署后的實際效果。
肇觀電子作為2016年成立的AI芯片領(lǐng)域第一梯隊企業(yè),其團隊在芯片、數(shù)學、算法等方面深耕多年,一直潛心研發(fā)核心技術(shù),已獲60余件國內(nèi)外專利授權(quán)。
02.AI 芯片性能,“又快又準”是主要指標
AI應用和系統(tǒng)的客戶對于AI芯片實際的深度神經(jīng)網(wǎng)絡處理能力有著明確需求。對于系統(tǒng)性能而言,“又快又準“是其主要指標。“快”主要取決于芯片的每秒計算能力。芯片是個復雜系統(tǒng),由于各種因素,芯片的理論計算能力和實際能達到的計算能力之間往往存在差距。 如何能夠在單位成本和單位功耗下最優(yōu)地支持神經(jīng)網(wǎng)絡模型的各種神經(jīng)層的不同數(shù)據(jù)類型并使得客戶的模型部署的精度損失最小,體現(xiàn)出不同公司之間的技術(shù)水平的差異。綜合來看,客戶可感知、利用、發(fā)揮的芯片性能是整個系統(tǒng)的性能的關(guān)鍵因素。
根據(jù)不同算法網(wǎng)絡的測試結(jié)果,N161芯片每TOPS算力下每秒可推理圖片的數(shù)量展示出了業(yè)界領(lǐng)先的水平。同時,N161還支持FP16高精度網(wǎng)絡,同樣展示出強悍的性能。
在INT8精度下,N161跑各項網(wǎng)絡可以達到的每秒幀數(shù)
在FP16的精度下,N161跑各項網(wǎng)絡可以達到的每秒幀數(shù)
針對五種算法網(wǎng)絡,N161芯片與某業(yè)界旗艦芯片的運行結(jié)果對比
“準”主要取決于芯片對于算法中的神經(jīng)網(wǎng)絡模型的各種神經(jīng)層的不同數(shù)據(jù)類型的支持,支持能力方面的差異帶來模型部署的精度損失方面的差異。客戶的算法從模型的訓練到模型的部署的數(shù)據(jù)類型轉(zhuǎn)換所導致的精度損失往往十分昂貴。比如在無人零售設(shè)備的應用中,如果物體識別算法在實際運行中有1%的精度下降,會直接導致貨損率的上升以及運營成本的增加。
根據(jù)各種不同網(wǎng)絡的測試結(jié)果,N161 INT8量化網(wǎng)絡幾乎無精度損失(1%以內(nèi))。
采用1000張imagenet數(shù)據(jù)測試
基于對應用的深刻理解和長時間的技術(shù)積累,肇觀電子創(chuàng)新的CVKIT™ NN IP在諸多方面遙遙領(lǐng)先,并已部署至N1系列芯片,以及D163(3D視覺)、V163(車載)芯片。
03.Infer Studio™解決“算法落地難”問題
人工智能落地的挑戰(zhàn),一方面在于整個產(chǎn)業(yè)鏈亟待在性能、成本、功耗等方面合用的上游核心芯片來破局;另一方面在于算法部署實施至具體應用所需知識技能過于專業(yè)而導致的綜合成本高昂。人工智能等相關(guān)領(lǐng)域的人才,由于稀缺,其薪酬水平較高已是業(yè)界共識;既懂AI算法又懂硬件部署的人才更為缺乏,這導致很多應用和系統(tǒng)廠商的開發(fā)能力較為欠缺,落地較慢。不僅是各個中小企業(yè)面對這一挑戰(zhàn),大廠也往往面對高薪招不到合用的人才的問題。人工智能落地成本高昂,是業(yè)界公認的一個突出問題。
為了解決“算法落地難”的問題,肇觀電子發(fā)布了“5分鐘部署”的AI應用開發(fā)平臺Infer Studio™,助力算法快速商用。Infer Studio™能夠?qū)⑺惴?ldquo;翻譯”成芯片能讀懂的表述文件,并快速部署,這種“一鍵式”開發(fā)體驗顯著地提高了開發(fā)者的效率。 Infer Studio™支持TensorFlow / TensorFlow Lite / ONNX / Caffe這些主流框架,開發(fā)者可以自由選擇訓練框架。從功能上來說,在軟件層Infer Studio™ 具有 Model Visualization 可視化模型、Compiler 編譯器、Evaluator 效果評估器、Debugger 調(diào)試器四種功能。
Infer Studio™ 操作平臺
不同于算法表現(xiàn)出來的精彩效果,算法網(wǎng)絡在PC端呈現(xiàn)出來的是一連串晦澀難懂的二進制數(shù)據(jù)和無數(shù)層的文本描述。然而Model Visualization可視化模型卻可以將這些描述轉(zhuǎn)換成網(wǎng)絡圖,便于開發(fā)者直觀地分析網(wǎng)絡的結(jié)構(gòu)和屬性。
Compiler編譯器 可支持將客戶基于主流AI框架開發(fā)出來的算法,包括Caffe,Tensorflow,Tensoflow Lite,ONNX等,轉(zhuǎn)換成芯片可以理解的表述文件。同時Compiler還能完成Weight Compression的功能,進一步精簡算法模型大小,使其真正部署到存儲空間有限的端設(shè)備,提升了網(wǎng)絡推理性能。同時,編譯器也支持算子融合,預編譯等優(yōu)化選項,進一步將推理性能提升至硬件的極限
一套在PC端運行強大的算法如何確保在芯片上也能快速呈現(xiàn)效果?Evaluator 評估器可以幫助客戶快速評估結(jié)果是否正確,性能是否能被發(fā)揮出來。通過Infer Studio™的Evaluator功能,客戶可以一鍵式將模型部署在設(shè)備上,全面透徹的看到運行結(jié)果,同時對分類,檢測分割等網(wǎng)絡在測試圖片中可視化呈現(xiàn)算法效果。
為了高效分析算法移植過程中可能遇到的偏差和兼容性問題,Infer Studio™ 的Debugger調(diào)試器能夠按層調(diào)試,隨時發(fā)現(xiàn)錯誤。客戶可以導出算法運行中的每一層數(shù)據(jù),跟原本算法中的每一層數(shù)據(jù)做對比,便于隨時調(diào)試,找出錯誤。
04.Infer Studio™ 的行業(yè)落地應用
客戶的方案在算法移植驗證以后,是否也能在產(chǎn)品層面快速部署,正常運行?與Infer Studio™ 配套的SDK可以通過積木搭建的方式快速構(gòu)建多媒體pipeline,并將算法模型靈活嵌入到pipeline中。
例如,一個經(jīng)典的AI應用是:VI (Video Input) 從攝像頭外部接入原始數(shù)據(jù),這些數(shù)據(jù)經(jīng)過ISP模塊轉(zhuǎn)換成YUV格式,一路傳輸?shù)紼ncoder進行編碼,并輸出。另一路ISP輸出的數(shù)據(jù)傳輸?shù)紺NN引擎運行各種AI算法。AI應用中各個功能模塊之間有著靈活的數(shù)據(jù)流向構(gòu)建方式;通過模塊間Bind(一種數(shù)據(jù)建立的方法)的方式,客戶可以更靈活的根據(jù)自己的應用需求,組合功能模塊,完成應用部署落地。
客戶也可以自由刪除某些模塊,替換或者增加某些算法模塊。所有這些pipeline搭建工作都可以通過可視化或者幾行配置代碼來實現(xiàn)。將AI算法開發(fā)到產(chǎn)品落地的時間壓縮到極限。對于典型的AI應用,物體分類,人臉/車輛檢測,物體分割等應用,從算法編譯到應用部署,5分鐘內(nèi)即可完成。
目前,Infer Studio™ 在諸多客戶的項目中作為日常使用的重要工具,得到了普遍認可和好評。
例如:在一個監(jiān)測司機是否在說話、瞌睡、打電話的車載項目中,工程師需要檢測眼部的狀態(tài)來判斷司機是否在走神或者瞌睡,檢測耳朵旁邊是否有電話,等等。客戶原本需要一個星期甚至更久才能讓這套算法在芯片上跑起來,但是結(jié)合了Infer Studio™之后, 對多個神經(jīng)網(wǎng)絡進行硬件加速,對神經(jīng)網(wǎng)絡的前后處理再結(jié)合計算機視覺加速單元 CV Accelerator里的內(nèi)置算子來完成,使得該算法迅速完成編譯并在平臺上高性能跑起來。
肇觀電子的Infer Studio™是目前市面上罕見的的人工智能算法的硬件移植和部署開發(fā)平臺,在提高人工智能算法的落地效率、降低部署實施成本方面實效顯著,受到下游廠商的廣泛好評。
05.結(jié)語
人工智能技術(shù)所賦予時代的意義,往往短期被高估,長期被低估。作為AI芯片設(shè)計領(lǐng)域的核心公司之一的肇觀電子,不僅在芯片核心技術(shù)上不斷突破,還為客戶提供 “一鍵式” 配套開發(fā)工具。 這不僅促進了客戶的解決方案在應用場景中的部署,也推動了整個人工智能行業(yè)的發(fā)展。
