2021 年 3 月 24 日，主題為《數據的世界，世界的數據》的星環科技 2021 春季新品發布會在星環上?？偛颗e行。會上，星環科技一站式數據開發與治理平臺 Transwarp Data Studio（以下簡稱 TDS )正式發布 2.2 版本，旨在通過數據的全生命周期管理能力，加速企業數字化建設進程。
星環科技在多年助力企業數字化轉型的實踐中發現，企業數字化建設發展過程中有兩個重要的方向，一個是底層數據類型、數據接入與計算方式要逐步多樣化，另一個則是數據應用能夠逐漸繁榮，從而實現數據和應用之間的正向反饋和相互促進迭代。這個過程中，根據對星環科技的行業客戶的大量觀察，雖然各個企業有不同的數字化發展的策略，但是總體上有遵循著階段化循序演進的規律，可以概括為數據統一化、數據資產化、數據業務化和數據生態化四個階段，而發展到每個階段企業都需要不同的數據管理能力來完成階段性建設目標。
在數據統一化階段，企業需要通過數據加載、同步、實時的數據接入、SQL 開發以及任務調度管理等能力來構建數據倉庫或者數據湖；在數據資產化階段，企業需要構建血緣、標準、質量管理，以及數據資產目錄、模型管理等數據治理平臺，并能提供數據地圖的能力；在數據業務化階段，企業需要提供一套數據智能與分析的解決方案；在數據生態化階段，企業需要構建數據交易共享平臺，其中包括數據共享交換、對數據安全的保護、隱私計算還有聯邦學習等能力。如果能結合以上四個階段，構建企業大數據能力并建設所有系統，企業就完成了數據價值演進的全過程。
隨著企業的數據類型和數據應用的增加，大量的數據會積累起來，因此數據資產化的工作就非常有挑戰性。未來更好的將數據升級為資產，企業一般需要開展數據開發和數據治理工作，這是一個組織管理加技術落地的工作，需要在一體化的數據治理方法論的指導下來落實每個有效的數據的質量提升、標準落地和業務級價值梳理。為了更好的幫助我們的企業用戶能夠更好的落地數據治理工作，新發布的 TDS 2.2 能夠實質性的幫助用戶提升效率。TDS是一個集開發與治理為一體的一站式工具平臺，不僅在產品上實現了較為完整的覆蓋，更是將星環數據治理咨詢團隊的行業經驗和方法論沉淀在工具中，此外還結合機器學習技術來輔助專業人員可以更快的將各種治理工作自動化，因此TDS可以大幅度提升企業數據開發和治理的效率，加速企業數字化轉型進程。
TDS 提供了完整的數據開發、數據治理、數據資產管理、數據標簽與服務、數據共享與交易等一系列數據全生命周期的處理工具，與 TDS 1.x 相比，新版本新增了兩個子產品，一個是數據質量管理工具 Governor，用于管理數據從獲取到消亡每個階段里可能引發的數據質量問題；另一個是數據商城 Transwarp Foresight，它整合了 TDS 的數據服務開發工具 Midgard 和標簽開發工具 StarViewer，為業務人員提供數據資產的檢索、下載、共享的能力，結合著數據血緣幫助數據使用者、開發者和管理者做整體協同，構建其數據運營能力。
除以上提到的四個工具之外，TDS 的子產品還包括：面向數據庫 SQL 程序開發者的桌面集成開發環境 Waterdrop、網頁版的團隊協作的 SQL 開發環境 SQLBook、可視化的 ETL 開發工具Transporter、數據計算任務的調度平臺 Workflow、數據可視化工具 Pilot 、數據 API 的開發與管理工具 Midgard以及數據資產管理工具軟件 Catalog。
值得關注的是，TDS 不僅能夠支持基于星環平臺的大數據開發與治理，同時也可以管理各種關系數據庫和主流大數據平臺，用于企業級的數據治理和數據資產平臺的建設。
今天，星環科技一站式數據開發與治理平臺 TDS，迎來了全新的 2.2 版本。經過多個版本的不斷迭代，TDS 以功能更全面、性能更出色的姿態與大家見面，在 TDS 的助力之下，企業數據平臺的建設效率將會大幅度提升，業務用戶與數據資產的打通也將更加徹底，最終實現數據與業務的結合。新版本的 TDS 具備以下四個核心能力：
核心能力一：數據聯邦
TDS 通過數據聯邦技術實現了數據的統一管理和服務，實現了三個統一：
第一、統一的數據門戶，數據商城Transwarp Foresight 整合各平臺數據產品做對外的數據共享與交換；
第二、統一的數據 API 服務能力，數據服務開發工具Midgard 產品能夠通過直連數據庫的方式，將數據庫的表或字段數據直接發布為服務API，并提供高并發的查詢能力；
第三、統一的技術元數據，數據資產目錄Catalog 通過數據庫直連獲取技術元數據，通過補充異構數據庫數據血緣，展現完整的數據地圖和血緣分析。
與此同時，基于 Inceptor 的聯邦計算能力，TDS 可實現統一的 SQL 計算和統一的數據治理。Inceptor SQL 引擎能夠實現跨異構數據平臺的 SQL 計算，支持多種關系型數據庫、異構大數據平臺以及 MPP 數據庫 。TDS SQL 開發工具 SQL Book 可以充分利用 Inceptor 的聯邦計算能力，承擔企業統一數據開發入口的角色：開發者提交的 SQL 任務能夠通過Inceptor 的聯邦計算能力來統一處理，無需維護多個異構數據平臺的開發環境和開發入口。
核心能力二：智能化數據治理能力
隨著當今 ToB 市場數據治理需求的高速增長，數據治理解決方案作為人力密集型項目的痛點也逐漸被放大。通過智能化手段來緩解甚至解決該痛點的趨勢也隨之到來。星環 TDS 能夠提供結合專家規則與機器學習的智能化數據治理能力。TDS 首先自動識別數據資產，然后對識別到的數據資產進行自動分類，最后自動監控數據資產動態，實現了對數據資產的智能編目；同時專業咨詢團隊構建的行業知識庫，通過智能算法自動提煉知識，形成行業智能模型，能夠向用戶智能的推薦數據質量規則、數據標準貫標，有效解決人力瓶頸；最后還支持智能發現敏感數據，保護數據資產的合規性。
核心能力三：優秀的團隊協作能力
企業的大數據開發普遍缺少軟件工程的整體管控流程，隨著業務復雜性提高、開發團隊越來越多、代碼與模型版本混亂，導致后期維護成本越來越高，而星環 TDS 能夠幫助企業構建大數據智能化開發平臺，提供全程圖形化操作、知識規則庫、開發協同、安全管控以及版本管理能力，實現大數據全流程開發、測試、上下線的線上化，并完成全平臺的數據訂閱與跨平臺數據推送等數據中臺服務，構建數據應用的完整 DevOps 體系。
核心能力四：分布式架構的設計，最大可支持 PB 級別的數據平臺建設工作
TDS 的調度工具 Workflow 利用分布式調度引擎，最大可支持百萬級別任務調度的生產需求；TDS 的數據集成工具 Transporter 用 ELT 代替傳統的 ETL，充分利用了星環底層大數據平臺的計算能力，能夠避免傳統 ETL 工具本身的計算瓶頸；數據服務開發工具 Midgard 通過 Hyperbase 提供的高并發 API，以及云操作系統 TCOS Ingress 提供的高性能 API 網關，都可以達到單節點 2 萬 QPS 的優秀性能表現；數據資產目錄 Catalog 基于分布式圖數據庫，支持百億級數據操作的存儲與分析。同時精確到字段級別的血緣分析能力，能夠實時感知和追蹤平臺內的數據變化。
目前，星環科技一站式數據開發與治理平臺 Transwarp Data studio （TDS），通過數據的全生命周期管理、數據聯邦、智能化數據治理等能力，已經為多個大型企業客戶數字化轉型提供落地方案，降低了企業大數據開發的技術門檻，并提升了企業數據開發效率。未來，星環將繼續通過大數據核心技術為企業賦能，助力企業加速數字化轉型。
