近幾年,隨著數(shù)字化轉(zhuǎn)型的深入,企業(yè)的應(yīng)用、數(shù)據(jù)和基礎(chǔ)設(shè)施的結(jié)合越來越緊密,原本以資源為中心的傳統(tǒng)云已經(jīng)不能滿足現(xiàn)階段企業(yè)數(shù)字化轉(zhuǎn)型的需求,而以數(shù)據(jù)為中心的數(shù)據(jù)云正在成為企業(yè)數(shù)字化基礎(chǔ)設(shè)施建設(shè)的新方法。數(shù)據(jù)、應(yīng)用和智能是數(shù)字化的三大核心生產(chǎn)資料,數(shù)據(jù)云在一個(gè) PaaS 平臺(tái)上提供包括數(shù)據(jù)倉庫/數(shù)據(jù)湖、數(shù)據(jù)治理、數(shù)據(jù)智能與分析、數(shù)據(jù)交易與共享等在內(nèi)的完整的數(shù)據(jù)解決方案以及應(yīng)用生命周期管理能力,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng),快速迭代,從而賦能企業(yè)持續(xù)創(chuàng)新。
數(shù)據(jù)云是星環(huán)科技這幾年大力布局的方向,早在 2015 年,星環(huán)科技就發(fā)布了基于云原生技術(shù)的云操作系統(tǒng) Transwarp Cloud Operating System (以下簡(jiǎn)稱TCOS),奠定了星環(huán)科技在數(shù)據(jù)云領(lǐng)域的行業(yè)地位。2018 年,星環(huán)科技基于 TCOS 發(fā)布了數(shù)據(jù)云 Transwarp Data Cloud 的 1.0 版本 (以下簡(jiǎn)稱TDC) ,成為國內(nèi)最早推出數(shù)據(jù)云產(chǎn)品和解決方案的企業(yè),經(jīng)過五個(gè)大版本的迭代,為眾多客戶數(shù)字化轉(zhuǎn)型提供安全、便捷的、完整的數(shù)字化建設(shè)解決方案。
星環(huán) TDC 主要面向企業(yè)私有化場(chǎng)景,以數(shù)據(jù)為中心,打通了數(shù)據(jù) PaaS、分析 PaaS、應(yīng)用 PaaS 三類 PaaS 能力,底層統(tǒng)一基于容器云平臺(tái)構(gòu)建,可幫助企業(yè)解決協(xié)作數(shù)據(jù)分析、數(shù)據(jù)管理混亂、規(guī)范應(yīng)用開發(fā)流程、存量應(yīng)用治理、資源沖突與效率管理的困難與問題。除此之外,星環(huán) TDC 基于云原生技術(shù)實(shí)現(xiàn)了分布式計(jì)算與存儲(chǔ)的解耦合,實(shí)現(xiàn)計(jì)算單元和存儲(chǔ)單元的獨(dú)立彈性伸縮,更好支撐有狀態(tài)的工作負(fù)載,也更能滿足企業(yè)與日俱增的數(shù)據(jù)處理與管理需求。今天星環(huán) TDC 正式發(fā)布了 2.4 版本, 新版本也迎來了令人期待的五大核心特性:
第一大特性:統(tǒng)一支持多種業(yè)務(wù)類型的工作負(fù)載
TDC 2.4 對(duì)包括分布式的文件系統(tǒng),搜索引擎、數(shù)據(jù)倉庫、圖數(shù)據(jù)庫,關(guān)系數(shù)據(jù)庫,數(shù)據(jù)科學(xué)家計(jì)算、知識(shí)圖譜在內(nèi)的有狀態(tài)工作負(fù)載都可以提供非常出色的支持,同時(shí)對(duì)無狀態(tài)的微服務(wù)應(yīng)用和有狀態(tài)的容器化應(yīng)用也提供支持。星環(huán) TDC 的租戶隔離技術(shù)也能讓這一特性得到更優(yōu)秀的發(fā)揮。租戶在計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)層實(shí)現(xiàn)了隔離,同時(shí)對(duì)于租戶間的數(shù)據(jù)則可以通過中心數(shù)據(jù)湖實(shí)現(xiàn)數(shù)據(jù)共享。對(duì)于不同的有狀態(tài)的工作負(fù)載和無狀態(tài)的工作負(fù)載,TDC 借助自研的調(diào)度器實(shí)現(xiàn)統(tǒng)一調(diào)度。
第二大特性:云原生調(diào)度實(shí)現(xiàn)數(shù)據(jù)與計(jì)算局部性
在傳統(tǒng)的 MPP 數(shù)據(jù)庫架構(gòu)中,計(jì)算和存儲(chǔ)都在同一個(gè)進(jìn)程中,無法做到根據(jù)不同場(chǎng)景做獨(dú)立擴(kuò)縮容,導(dǎo)致彈性能力不足。而另一種存算分離架構(gòu),因?yàn)橛?jì)算集群和存儲(chǔ)集群分布在不同的物理節(jié)點(diǎn),雖然可以做到獨(dú)立的彈性擴(kuò)縮容,但性能受制于網(wǎng)絡(luò)的傳輸效率,往往需要專門的硬件設(shè)備來保證性能。為了兼顧彈性和性能,星環(huán) TDC 把分布式計(jì)算層和存儲(chǔ)層統(tǒng)一在一個(gè)集群中,根據(jù)計(jì)算對(duì)存儲(chǔ)節(jié)點(diǎn)的計(jì)算局部性需求,將它們調(diào)度到同一個(gè)物理節(jié)點(diǎn)上,完成高效計(jì)算。當(dāng)存儲(chǔ)節(jié)點(diǎn)計(jì)算資源不足時(shí),也可以使用遠(yuǎn)程的計(jì)算單元。這種架構(gòu)兼顧了性能和彈性需求的平衡,同時(shí)可極大地提升資源利用率。
第三大特性:分布式計(jì)算執(zhí)行單元場(chǎng)景化擴(kuò)縮容
以潮汐計(jì)算為例,星環(huán) TDC 可以根據(jù)業(yè)務(wù)的特點(diǎn),從時(shí)間的維度來做擴(kuò)縮容方案,白天交易型計(jì)算需求增多的時(shí)段開始自動(dòng)擴(kuò)容 OLTP 服務(wù),晚上分析型計(jì)算需求增多的時(shí)候開始擴(kuò)容 OLAP 服務(wù),從而有效利用集群資源,完成不同時(shí)間段的需求。另外,星環(huán) TDC 還可以基于負(fù)載做擴(kuò)縮容,當(dāng)相應(yīng)的計(jì)算負(fù)載增加時(shí),對(duì)計(jì)算單元做擴(kuò)容,當(dāng)計(jì)算負(fù)載減少時(shí)縮容,從而輕松應(yīng)對(duì)業(yè)務(wù)波峰波谷場(chǎng)景。
第四大特性:支持GPU 多租戶共享調(diào)度
企業(yè)的 GPU資源, 在多租戶共享調(diào)度實(shí)現(xiàn)之前,只能整塊使用,造成了資源的極大浪費(fèi)。TDC 2.4 本次升級(jí)實(shí)現(xiàn)了支持 GPU 多租戶共享調(diào)度,讓 GPU 資源利用更合理。星環(huán) TDC 可以支持單機(jī)多 GPU,多機(jī)多 GPU 的統(tǒng)一管理、高效的分配以及合理的規(guī)劃和使用。對(duì)于應(yīng)用而言,星環(huán) TDC 可以支持 GPU 的獨(dú)占,保證在模型訓(xùn)練場(chǎng)景中對(duì)GPU的高使用要求,同時(shí)也支持單塊 GPU 的共享,以提升GPU資源的利用率。
第五大特性:支持異構(gòu) CPU 和操作系統(tǒng)混合部署
隨著企業(yè)國產(chǎn)意識(shí)的逐步升級(jí),國產(chǎn) CPU 和操作系統(tǒng)市場(chǎng)占有率正在逐步上升,底層異構(gòu)基礎(chǔ)設(shè)施的統(tǒng)一管理將成為行業(yè)的剛需。星環(huán)數(shù)據(jù)云 TDC 2.4 基于統(tǒng)一的云原生操作系統(tǒng) TCOS,支持 X86、ARM 等多種主流 CPU 架構(gòu)以及 Linux / Windows / 國產(chǎn)操作系統(tǒng),可以更好實(shí)現(xiàn)企業(yè)不同場(chǎng)景的需求,滿足企業(yè)軟硬件國產(chǎn)化的需求。
目前,星環(huán)科技新一代智能大數(shù)據(jù)云平臺(tái)Transwarp Data Cloud(TDC)已經(jīng)在眾多行業(yè)有成熟的全方位解決方案落地,滿足了各種數(shù)據(jù)處理場(chǎng)景的需求,實(shí)現(xiàn)了企業(yè)數(shù)據(jù)與應(yīng)用的生態(tài)化建設(shè)。未來星環(huán)將在數(shù)據(jù)云領(lǐng)域持續(xù)深耕,助力企業(yè)不斷釋放提升大數(shù)據(jù)能力,引領(lǐng)企業(yè)數(shù)字化轉(zhuǎn)型升級(jí)浪潮。