作為2022年首屆“興智杯”全國人工智能創新應用大賽創新專題賽的技術支持方,聯匯科技的自研多模態預訓練大模型平臺 OmVision Studio 與中科院紫東太初、百度文心成為本次大賽三大技術平臺。
針對 OmVision Studio 平臺核心技術和場景化使用,聯匯科技首席科學家趙天成博士在興智杯活動周首日應邀進行主題分享。重點解讀 OmModel 視覺語言大模型之于加速普及人工智能應用的推動作用,詳細介紹了聯匯自研視覺語言大模型 OmModel 和本次大賽平臺 OmVision Studio 的架構和使用,并為參賽選手提供了技術方向指導。
Q:如何滿足80%碎片化的場景需求?
隨著互聯網技術和視頻技術的飛速發展,大視頻時代到來,視頻數據成為各個行業沉淀最多的數據類型之一。數億的攝像頭、工業和商業環境下的智能機器人、超高清視頻和短視頻平臺等不同渠道中沉淀了海量視頻數據,但其中真正能夠被企業、行業所挖掘和使用的數據占比只有10%-20%。
AI技術在視覺融合分析領域的利用率、普及率不高的重要原因之一是因為傳統AI算法依賴于大量樣本和人工標注,算法訓練成本高、周期長、需求響應效率低,無法滿足在市場容量超80%的碎片化、個性化長尾場景需求,對于企業而言,存在成本高、周期長、效率低等問題,很難滿足實際的使用需求,技術難以為產業智能化升級服務。
在面對各行各業數字化改革、智能化建設浪潮,如何讓人工智能成為企業的“通用能力”?真正幫助企業技術應用難題,視覺語言預訓練大模型為企業提供了高效的技術路徑。
Q:什么是“視覺語言預訓練大模型”?
算法和算力的協同應用是人工智能更好發揮認知、理解能力的重要前提,而大模型則是算法、算力達到了一定高度后的“新物種”。
其中,“視覺語言預訓練大模型”是將視覺模態和文本模態進行深度對齊及轉換,計算機可以了解兩種模態下的信息關聯,使圖片信息和文本信息實現雙向轉化,這是視覺語言大模型解決的核心問題。
聯匯科技自研視覺語言大模型 OmModel ,將自然語言作為人類知識載體,將自然語言和視覺打通,基于大規模的自監督學習,產生全新的視覺識別、認知能力,實現語言模態和視覺模態之間的跨模態融合理解。
OmModel 擁有零樣本識別、小樣本調優、長尾識別、通用精準四大核心優勢。基于大規模自監督學習技術,OmModel 已經具有強大的認知理解能力,能夠實現通用場景下的精準識別,而對于企業大量的長尾識別任務,僅需要通過小樣本的標注、學習,就可以滿足大量碎片化的識別需求。
OmModel 還支持包括視覺問答(VQA)、人物行為檢測(HOI)、語義指代(Grounding)、跨模態檢索(IR)、屬性識別(Attr)、開放詞表目錄檢索(OVOD)等不同的響應任務,可以通過同一套網絡結構、微調方式以及預訓練參數完成視覺任務識別。
與同期大模型相比,OmModel 的優勢非常顯著。
在具體應用中,OmModel 可以完成各種視覺任務的視覺,包括屬性、狀態、動作等的識別,打破傳統標注方式,可以通過自然語言定義任務,實現按需識別。
Q:OmVision Studio:OmModel的能力外延
OmVision 提供零代碼的AI訓練平臺服務、泛場景的算法資源服務以及低要求的AI技能培訓服務,企業可以通過很方便的方式獲得人工智能能力。
OmVision 由 OmVision Studio 算法模型工廠和 OmVision OS 視覺操作系統兩大支撐體系構成。 OmVision Studio算法模型工廠是業界首個視覺2.0開放SaaS平臺。提供預訓練大模型的算法訓練,讓普通工程師可以實現免代碼訓練復雜算法,將算法訓練門檻降到“0”,為企業客戶提供行業化、場景化的視覺識別技術能力。OmVision OS 視覺認知操作系統實現多場景視覺算法協同識別。支持高并發視頻處理、自動優化協同算法、算法冷啟動定義等個性化需求,讓每個攝像頭擁有聰慧的“大腦”,讓攝像頭根據場景進行個性化協同預測。通過 OmVision 用戶和企業可以通過可視化、低樣本的方式快速搭建,使大模型能力得到充分的發揮和應用。
OmVision 平臺開創了全新算法訓練模式,利用預訓練大模型強大的通識能力,提出算法聲場“三部曲”:“0樣本冷啟動+小樣本訓練+算法在線調優迭代”的方式可用算法的應用交付,重塑視覺算法的生產流程,更好地保證了每個算法在實際環境中的識別精準度,產生真正可應用、可交付的算法,實現技術在各行業的場景落地。
平臺打破傳統算法倉的局限,實現基于預訓練大模型的按需組裝的零件搭建模式,在底層由各類應用零件組成,在上層可以根據各種語義定義的方式,實現零樣本的數據啟動和小樣本加強,以快速生產算法應用,解決響應速度和使用成本的問題。同時,還可以實現多目標及復雜行為的識別。
Q:如何使用OmVision Studio?
使用開發流程主要包含“創建應用”“應用評估”“小樣本訓練”“應用部署”四大步驟。
●創建應用
通過可視化應用創建器,多模型的排列組合,構建滿足多場景、碎片化場景的算法應用;
●應用評估
選擇要評估的應用和測試數據集,評估任務基本信息、各標簽指標分數、評估速度、樣本告警效果,生成評估報告;
●小樣本訓練
當缺乏應用構建“零件”或者交付上線效果和實驗室差距較大時,需要通過小樣本的標準訓練增強識別精度;
●應用部署
最終API等方式進行調用、部署的方式,讓更多的下游應用獲得完整的閉環系統。
OmVision真正實現機器視覺2.0的技術優越性,包括響應速度、識別精度的提升,以及使用成本的降低。
作為通用技術,預訓練大模型OmModel擁有的四大核心,即能力語義目標識別、復雜行為識別、環境狀態識別以及內容協同預測,正在持續賦能千行百業場景落地,從城市安防到智慧校園、智慧工地、智慧社區等場景中具備了充分的技術應用基礎。
