近日， 偶數(shù)發(fā)布了最新的實時湖倉數(shù)據(jù)平臺 Skylab 5.3 版本。Skylab包含七大產(chǎn)品，分別為云原生分布式數(shù)據(jù)庫 OushuDB、數(shù)據(jù)分析與應用平臺 Kepler、數(shù)據(jù)資產(chǎn)管理平臺 Orbit、自動化機器學習平臺 LittleBoy、數(shù)據(jù)工廠 Wasp、數(shù)據(jù)開發(fā)與調(diào)度平臺 Flow、系統(tǒng)管理軟件Lava，在本次的新版本升級中以上全線產(chǎn)品都進行了更新。
在已經(jīng)具備完整生態(tài)組件的基礎上，Skylab 本次升級進一步提升了生態(tài)擴展能力，在數(shù)據(jù)的開放存儲格式、應用分析的多數(shù)據(jù)源接入等方面都做了優(yōu)化，比如新增對 Hudi 開放存儲格式的原生支持，以及接入更多數(shù)據(jù)庫類型作為數(shù)據(jù)分析和應用的數(shù)據(jù)源。
接下來讓我們一起了解下 Skylab 5.3 各組件的更新情況。
云原生分布式數(shù)據(jù)庫 OushuDB 5.2 更新
繼上一個版本可以原生使用 Hive 存儲在 HDFS 的數(shù)據(jù)，OushuDB 5.2 實現(xiàn)了原生支持 Hudi 存儲格式，提供了更多開放的數(shù)據(jù)格式，實現(xiàn)了“一數(shù)多擎”，即多個引擎共享同一份數(shù)據(jù)，也為客戶在落地湖倉一體提供了更多可選方案。
存算分離的數(shù)據(jù)庫架構必然需要在計算節(jié)點做數(shù)據(jù)緩存，OushuDB 5.2 的 Magma 表實現(xiàn)了計算節(jié)點數(shù)據(jù)緩存，極大提升查詢速度。
OushuDB 的客戶端 Worksheet 在本次升級中對性能、功能和交互體驗都做了優(yōu)化。功能方面，Worksheet 支持同時展示多條 SQL 查詢結(jié)果，支持在創(chuàng)建對象時選擇表空間、表壓縮及壓縮比；支持數(shù)十萬表的查詢與展示，客戶端性能進一步提升；Worksheet 在導入導出數(shù)據(jù)及腳本、SQL 語法提示、歷史版本搜索、報錯方式等方面都進行了交互優(yōu)化。
OushuDB 5.2 還完善了數(shù)據(jù)庫審計功能，此外還支持自動統(tǒng)計信息收集，用戶可以不再通過 Analyze 來發(fā)數(shù)據(jù)統(tǒng)計信息。
數(shù)據(jù)工廠 Wasp 5.3 更新
新版本的 Wasp 在產(chǎn)品易用性上進行了大幅提升，用戶可以僅配置一次任務就將整個庫的數(shù)十萬張表進行同步，極大的提升效率，同時，Wasp 還支持可視化數(shù)據(jù)清洗與流計算的配置，提升了產(chǎn)品易用性。
除了已經(jīng)支持的Oracle、MySQL、DB2、PostgreSQL等數(shù)據(jù)源，還新增支持 Sybase、KingBase等數(shù)據(jù)源。CDC 支持無主鍵源表同步場景，規(guī)避了數(shù)據(jù)同步可能面臨的數(shù)據(jù)沖突和重復問題。
數(shù)據(jù)資產(chǎn)管理平臺 Orbit 2.2 更新
Orbit 新增主數(shù)據(jù)管理模塊。主數(shù)據(jù)管理模塊是一種關鍵的企業(yè)管理工具，通過主數(shù)據(jù)模型和主數(shù)據(jù)服務，集中管理和維護企業(yè)中的主數(shù)據(jù)，提高數(shù)據(jù)一致性、準確性和可用性，幫助組織整合不同的業(yè)務流程和系統(tǒng)，各個部門和系統(tǒng)可以基于相同的數(shù)據(jù)進行工作，從而提高業(yè)務流程的協(xié)同效率。
此外，相較上一個版本，Orbit在元數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)發(fā)布及撤銷、元數(shù)據(jù)刪除等方面做了進一步優(yōu)化，大幅提升處理性能和操作體驗。
數(shù)據(jù)資產(chǎn)目錄和元數(shù)據(jù)目錄“主頁”展示可視化的統(tǒng)計信息
數(shù)據(jù)分析與應用平臺 Kepler 4.0 更新
新版本 Kepler 在多數(shù)據(jù)源接入、血緣詳情展示和報表開發(fā)幾個方面做了大幅優(yōu)化。
支持 MySQL 和 OushuDB 等多種數(shù)據(jù)源，為用戶提供了更多的接入方式，并根據(jù)不同數(shù)據(jù)源對指標、標簽、報表、數(shù)據(jù)可視化、數(shù)據(jù)工廠等功能進行優(yōu)化。血緣節(jié)點增加指標、事實、維度、數(shù)據(jù)庫表等詳情展示，讓用戶迅速了解血緣信息。
報表開發(fā)方面，新增單元格批量設置、字段生成表頭、表級節(jié)點拖入。
數(shù)據(jù)可視化模塊添加水球圖、數(shù)據(jù)文字云類型圖表。
自動化機器學習平臺 LittleBoy 5.0 更新
新版本 LittleBoy 在現(xiàn)有的豐富算子的基礎上，形成了特殊算子的定制能力，如對數(shù)據(jù)字段進行加密算子和解密算子，這也意味著 LittleBoy 對不同行業(yè)和場景的生態(tài)擴展能力逐步增強。
數(shù)據(jù)開發(fā)與調(diào)度平臺 Flow 5.3 更新
提供批次相關功能，支持追批、自定義批次標簽。用戶可以通過批次來管理任務的周期執(zhí)行（如以天、周為周期），更好的應對業(yè)務分批執(zhí)行需求的支持，為作業(yè)調(diào)度的開發(fā)提供便利。
系統(tǒng)管理軟件 Lava 5.3 更新
Lava 提供了升級框架，用戶可以通過升級腳本一鍵升級 Wasp、Flow、Worksheet。新版本增加了 OushuDB 監(jiān)控頁面，展示集群拓撲結(jié)構、執(zhí)行中的SQL、會話和鎖信息等。
偶數(shù) Skylab 是一個擁有海量數(shù)據(jù)存儲、計算、分析、應用和 AI 能力的實時湖倉數(shù)據(jù)平臺，提供完整的數(shù)據(jù)管理生態(tài)閉環(huán)，幫助用戶實現(xiàn)批流一體、實時數(shù)據(jù)處理、自動化機器學習、自助可視化分析和數(shù)據(jù)資產(chǎn)管理。依托 Skylab，用戶可以輕松實現(xiàn)智慧營銷、智能風控、智慧審計、智慧監(jiān)管等數(shù)據(jù)應用場景。
