熟悉AI產業的人都知道,數據、算法和算力是推動AI產業發展的三大核心要素,而數據又是算法和算力得以施展的前提。就像巧婦難為無米之炊,如果沒有好的數據基礎,再強的算法和算力也沒有用武之地。
然而,在AI普及落地的過程中,企業卻普遍面臨著數據量大、難以快速找到特定場景數據的困境。在AI數據訓練的過程中,AI數據管理更是面臨著數據資產不能充分利用、管理方式不夠完善等挑戰。
這樣的挑戰在我們的工作中并不少見,如:很多企業都很難在爆發式增長的海量數據中快速找到有價值的數據;數據被零散地存儲在不同的公有云和私有云中,甚至在個人電腦和硬盤里;配合算法迭代的不同版本的數據卻不能被及時命名和分類等等。
五大先進技術化解AI數據管理難題
為了幫助企業解決這些痛點,近日,國內領先的AI訓練數據頭部服務商——云測數據在服貿會上發布了“云測數據標注平臺-AI數據集管理系統”,給苦于AI數據管理難題的企業帶來了福音。
云測數據總經理賈宇航告訴記者,云測數據標注平臺-AI數據集管理系統專注于Al數據集的上傳、管理、存儲、分享,數據類型標簽化管理,同時可以支持標注結果的存儲、標注結果可視化等功能,從而助力企業進行數據管理,提升數據訓練的匹配度,高效開展模型訓練,增強Al領域的核心競爭力。
據介紹,云測數據標注平臺-AI數據集管理系統的先進性體現在以下五個方面:
首先是安全高效的數據存儲:支持混合云存儲,多場景數據托管,可全方位協調機制,提升數據管理效率。
在公有云存儲方面支持阿里云、騰訊云、亞馬遜云科技等主流云服務;在私有云存儲方面,可滿足S3協議方案的對象存儲系統,如Ceph、Minio;在URL資源導入方面,其他文件存儲系統可以直接引入使用。
賈宇航表示,該管理系統是可以私有化部署的,可以適配不同企業的不同運行環境。
其次是便捷快速的數據檢索:可實現多級標簽管理、數據深度檢索。
該系統支持標簽級數據檢索,可快速篩選價值數據:文件管理標簽化,支持無限級KV標簽;多細粒度標簽檢索,快速構建數據場景;文件子集管理,讓數據歸檔井然有序。
賈宇航指出,企業可以針對不同的角色給同一類數據打上不同的、各自獨有的標簽,也可以對標注的結果進行自動讀取、標簽化檢索。
第三是全場景數據可視化,讓數據更容易理解。
豐富的可視化組件,支持box2d、ellipse、polygon、line、curve、point、parallel、box3d、cuboid、side_cuboid、sentence等多種可視化工具,并支持連續幀、ID跟蹤、點云多傳感融合、音視頻等多種數據場景,支持標簽篩選、分組顯示、旋轉變化等交互查看方式,讓數據更容易理解和檢查。
賈宇航強調,過去企業用戶查看數據標注結果,需要通過專門的數據標注結果可視化工具,或者購買,或者自己研發。現在該功能已經被云測數據直接集成在AI數據集管理系統中,企業用戶可以直接查看結果、進行篩選。
第四是豐富的擴展工具,可靈活管理使用。
該系統支持Python SDK、CLI、Open API等多種擴展工具,方便上傳、管理、統計可視化數據,客戶可根據場景靈活使用,或打造數據中臺將數據獲取、數據標注、數據存儲使用、模型迭代形成數據閉環。同時可提供完善的技術使用文檔。
第五是清晰的數據權限管理。
該系統支持多種團隊協作權限管理,團隊成員明確分工,數據使用按需分配,避免數據操作隱患及反復遷移:支持角色權限管理,操作權限分配;支持數據分享管理,隱私數據隔離;支持開發者授權管理,白名單授權機制。
“過去企業需要安排專人管理數據,現在通過系統就可以更直接更有效地實現上述功能。”賈宇航談到。
憑借上述優勢,云測數據標注平臺-AI數據集管理系統可以幫助企業輕松管理數據資產,將非結構化數據結構化管理,形成統一數據規范,進行數據資產化積累,不斷積累核心數據競爭力;而且,結合業務數據場景,企業可以打通數據閉環,構建數據中臺服務,釋放AI數據價值。從而幫助企業高效獲取、加工和管理數據,深入挖掘、全面提升AI數據價值。
賈宇航為記者列舉了一個實例,如一家做自動駕駛視覺感知的企業,應用AI數據集管理系統給自身的數據進行場景化的標簽選定和存儲。其數據量非常龐大,且數據場景復雜。比如單單在天氣方面劃分為白天、黑天、晴天、雨天、雪天等多種類型。
該企業發現,機器對于雪天的識別效果不好,那如何針對性地對相關算法進行數據訓練呢,這時候就可以通過數據管理系統中標簽功能,調動已有數據庫中對應的雪天數據,快速完成數據抽取和驗證,實現數據管理事半功倍的效果。
“事實上,看了很多實際案例以后,我們發現,運用AI數據集管理系統的企業,其運轉的節奏、迭代的周期都在加快,研發方式也從瀑布式開發向敏捷開發轉變了,實現了更高效的數據管理。”賈宇航強調,“這也是這套AI數據集管理系統存在的意義。”
緊跟客戶需求的探索和積累
當然,市場也存在其他AI數據集管理產品,那么云測數據的優勢何在呢?對此,賈宇航表示,云測數據是一家在企業級服務領域深耕多年的公司,核心是幫助企業實現產業化落地,會根據企業客戶的實際需求去進行產品迭代。所以在研發AI數據集管理系統時,將其定義成可以私有化部署的,并且可以被靈活運營集成的工具,方便企業進行二次開發和深度定制。
而且云測數據作為AI數據的頭部企業,在自動駕駛、車企、智慧城市、智能金融、智能IOT、智能家居等領域的數據應用一直走在行業前沿,并一直努力探索,基于新的算法、新的應用場景研發出更好的產品和服務,為AI產業化落地賦能。
事實上,這已經是云測數據第二次在服貿會亮相。在2020年服貿會上,云測數據發布了“無數據 不AI,云測數據服務標準——項目最高交付精準度99.99%”的成果。“本次發布的云測數據標注平臺-AI數據集管理系統與其是一脈相承的。”賈宇航解釋到,這是在解決AI數據生產過程的難題之上延伸到改變AI數據管理的困境,充分展示了云測數據基于行業前瞻和前沿技術服務積累,進一步拓展深化AI訓練數據價值的領先實踐。
一橫一縱勾畫AI數據產業未來
談到未來的發展計劃時,賈宇航告訴記者,針對AI數據行業的發展趨勢,云測數據制定了“一橫一縱”的規劃。
在縱向領域,以自動駕駛為例,正在向車外環境感知、車內智能倉、人機交互等方向發展,未來會應用更多不同維度的數據,以確保實現高清度。“這些領域都在深化發展,云測數據也會往這些方向持續布局,增強自己的方案和服務能力,以確保在這些行業有新的突破的時候,云測數據也能夠有對應的積累,滿足客戶相關的需求。”
在橫向領域,則會關注其他不同行業的落地方向,比如新零售、金融垂直領域等等。云測數據希望把自身對于AI數據服務的經驗應用到更多具有增長潛力的行業。賈宇航談到,“云測數據愿意為這樣的行業打造AI數據服務解決方案,通過高質量的AI數據助力相關領域早日實現產品落地。”
