2024 年 11 月 27 日,國內(nèi) Data Fabric 架構(gòu)理念實踐者與引領(lǐng)者 Aloudata 大應(yīng)科技聯(lián)合 DataFUN 成功舉辦了“數(shù)據(jù)編織價值評估研討會”,重磅發(fā)布了《數(shù)據(jù)編織價值評估指南》白皮書,提出業(yè)界首個數(shù)據(jù)編織價值評估框架。該白皮書不僅深度解析了數(shù)據(jù)編織(Data Fabric)的價值主張、實現(xiàn)機制,更結(jié)合應(yīng)用場景提供了切實可行的落地路徑,給出詳盡的價值評估方法與量化指標(biāo),為企業(yè)應(yīng)用數(shù)據(jù)編織,實現(xiàn)更加敏捷、高效的數(shù)據(jù)交付與管理提供了極具操作性的實踐指南。
Aloudata 創(chuàng)始人&CEO 周衛(wèi)林、Aloudata 技術(shù)副總裁余俊、康明斯中國區(qū)首席架構(gòu)師徐志蔚、西卡中國 BI 和數(shù)據(jù)負(fù)責(zé)人袁鶯一同亮相出席。
現(xiàn)如今,在企業(yè)內(nèi)部,業(yè)務(wù)存在大量且多變的分析需求,要求能夠更加便捷、靈活、自主地實現(xiàn)“看數(shù)、用數(shù)”,而傳統(tǒng)的分布式數(shù)據(jù)湖倉、數(shù)據(jù)中臺工程體系過度依賴專業(yè)的 ETL 團隊及相關(guān)工具,使用門檻高、不靈活,且需要先投資或持續(xù)投資建設(shè)大規(guī)模計算引擎等基礎(chǔ)設(shè)施,回報周期長,給企業(yè)數(shù)據(jù)管理造成極大成本。因此,從“技術(shù)的業(yè)務(wù)匹配度、技術(shù)的組織就緒度、技術(shù)的ROI”三大評估要素來看,企業(yè)迫切需要一種更加敏捷靈活的數(shù)據(jù)管理架構(gòu)。
數(shù)據(jù)編織(Data Fabric)作為一種創(chuàng)新的數(shù)據(jù)管理架構(gòu)理念,自 2019 年起 Gartner 便在其數(shù)據(jù)技術(shù)趨勢報告中多次提及,并在 2024 年的數(shù)據(jù)管理技術(shù)成熟度曲線中顯著提升了其成熟度,預(yù)測在未來 2-5 年內(nèi)將實現(xiàn)廣泛應(yīng)用。余俊表示:“不同于 ETL 人工進(jìn)行數(shù)據(jù)管理,數(shù)據(jù)編織利用數(shù)據(jù)虛擬化技術(shù),無需復(fù)制數(shù)據(jù),邏輯化實現(xiàn)多源異構(gòu)數(shù)據(jù)的集成整合,能夠?qū)⒄_的數(shù)據(jù),在正確的時間,給到正確的人,成功地解決了企業(yè)用數(shù)的效率、成本、組織、合規(guī)等各個方面的問題。”
然而,在眾多企業(yè)積極探索數(shù)據(jù)編織(Data Fabric)的應(yīng)用場景和落地路徑過程中,卻苦于缺乏清晰可參考的實踐方法論與價值評估框架。
為此,Aloudata 基于“NoETL”創(chuàng)新理念,以及自主研發(fā)的國內(nèi)首個邏輯數(shù)據(jù)編織平臺——Aloudata AIR 及其在金融、制造等行業(yè)的落地實踐,重磅推出了《數(shù)據(jù)編織價值評估指南》白皮書,并提出了業(yè)界首個數(shù)據(jù)編織價值評估框架。具體來看,該框架緊緊圍繞“讓業(yè)務(wù)及時用上好數(shù)據(jù)”的出發(fā)點,包含了“提升數(shù)據(jù)交付效率”、“降低數(shù)據(jù)膨脹系數(shù)”、“減少數(shù)據(jù)管理成本”三個評估維度,并提供了“當(dāng)天需求滿足率”和“當(dāng)天數(shù)據(jù)動銷率”兩個關(guān)鍵指標(biāo),以幫助業(yè)務(wù)進(jìn)行量化評估。
提升數(shù)據(jù)交付效率:能否端到端地提升數(shù)據(jù)集成、整合到服務(wù)的交付效率,把數(shù)據(jù)需求的響應(yīng)周期從周提升到天,10 倍提升數(shù)據(jù)交付效率。
降低數(shù)據(jù)膨脹系數(shù):能否從機制設(shè)計上系統(tǒng)化地減少數(shù)據(jù)拷貝,節(jié)省存算資源,提升存算的有效性和經(jīng)濟性,至少節(jié)省 30% 的存算成本。
減少數(shù)據(jù)管理成本:能否簡化系統(tǒng)技術(shù)概念,降低數(shù)據(jù)平臺上手門檻和減少運維成本,提升數(shù)據(jù)管理的自動化水平和逐步增強數(shù)據(jù)平臺的“智駕”能力,至少節(jié)省 70% 的數(shù)據(jù)管理成本。
白皮書還指出,與傳統(tǒng)的數(shù)據(jù)中臺相比,數(shù)據(jù)編織(Data Fabric)最大的突破在于數(shù)據(jù)虛擬化技術(shù),無需物理搬運數(shù)據(jù)即可實現(xiàn)數(shù)據(jù)的統(tǒng)一訪問與管理。其中,Aloudata 數(shù)據(jù)虛擬化技術(shù)的核心機制,包括智能查詢下推、智能數(shù)據(jù)投影等關(guān)鍵技術(shù)。這些核心機制共同構(gòu)成了數(shù)據(jù)編織的強大技術(shù)支撐,在邏輯集成的基礎(chǔ)上幫助企業(yè)實現(xiàn)高效、靈活的數(shù)據(jù)管理,也能夠顯著降低數(shù)據(jù)開發(fā)、任務(wù)運維和存算成本。與業(yè)界相對成熟的數(shù)據(jù)虛擬化方案多側(cè)重在數(shù)據(jù)集成與查詢場景不同,Aloudata AIR 將 NoETL 作為數(shù)據(jù)虛擬化技術(shù)的核心能力,強調(diào)其在數(shù)據(jù)集成、加工與服務(wù)全流程中的價值:無需事前搬運數(shù)據(jù)、無需事中運維 ETL 任務(wù)、無需事后計存治理,幫助企業(yè)實現(xiàn)“零搬運、免運維、自治理”。
此外,白皮書還介紹了首創(chuàng)證券、某頭部車企、某跨國企業(yè)采用 Aloudata AIR 落地數(shù)據(jù)編織的實際案例,闡述了數(shù)據(jù)編織在敏捷數(shù)據(jù)分析、全域數(shù)據(jù)邏輯整合,以及跨境數(shù)據(jù)合規(guī)查詢場景下的實踐路徑和業(yè)務(wù)價值。通過這些案例,結(jié)合數(shù)據(jù)編織價值評估框架,企業(yè)可以清晰地了解數(shù)據(jù)編織在提升數(shù)據(jù)響應(yīng)速度、降低存算成本和管理成本方面的實際效果。
正如 Aloudata 創(chuàng)始人&CEO 周衛(wèi)林所說:“我們希望能夠?qū)?shù)據(jù)編織這樣一個前沿的架構(gòu)理念,變成一個更成熟的產(chǎn)品和方案,引導(dǎo)和推動數(shù)據(jù)編織在更多行業(yè)、更多場景的落地,為企業(yè)的數(shù)據(jù)管理變革和數(shù)智化業(yè)務(wù)創(chuàng)新提供有力支撐。”
康明斯中國區(qū)首席架構(gòu)師徐志蔚對此則表示:“數(shù)據(jù)編織能夠賦能自服務(wù)場景,因為最懂?dāng)?shù)據(jù)的還是業(yè)務(wù)自己,無需依賴 ETL 開發(fā),將數(shù)據(jù)分析的能力給到業(yè)務(wù),及時得到數(shù)據(jù)價值。”西卡中國 BI 和數(shù)據(jù)負(fù)責(zé)人袁鶯表示贊同,她認(rèn)為,前端的業(yè)務(wù)需求變化很快,運用傳統(tǒng)的數(shù)據(jù)管理方式,整體響應(yīng)速度將大打折扣,而引入數(shù)據(jù)編織,整個數(shù)據(jù)整合鏈路將大幅縮短,能夠快速且靈活響應(yīng)前端數(shù)據(jù)應(yīng)用需求,也能提供即時數(shù)據(jù)服務(wù),實現(xiàn)數(shù)據(jù)的民主化。