想必大家都聽說過盲人摸象的寓言故事，這則寓言告訴我們，每個人摸得都是象的一部分，而部分并不能代表全部。事實(shí)上，任何事物只關(guān)注于一點(diǎn)，似乎都會落入以偏概全的誤區(qū)當(dāng)中。進(jìn)入大數(shù)據(jù)時代，企業(yè)內(nèi)部的數(shù)據(jù)越積越多，以前企業(yè)只知道將數(shù)據(jù)存起來，認(rèn)為這就是企業(yè)的價值所在。
青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)表示，大數(shù)據(jù)的價值并不是數(shù)據(jù)本身，而是數(shù)據(jù)背后所隱藏的對業(yè)務(wù)有影響的信息和知識。以Wikipedia的數(shù)據(jù)金字塔為例，從數(shù)據(jù)層到智慧層，每往上一層，對應(yīng)的數(shù)據(jù)量就會小一點(diǎn)，而對業(yè)務(wù)的影響價值就會更大一些。而要從海量數(shù)據(jù)中提煉出有價值的信息和知識，需要經(jīng)過很長鏈路的流式處理，如果沒有一套完整的系統(tǒng)保障這條鏈路的高效運(yùn)轉(zhuǎn)，則很難實(shí)現(xiàn)這一目標(biāo)。
“此時，企業(yè)需要的并不只是Hadoop、Spark和Flink等大數(shù)據(jù)產(chǎn)品組件的堆疊，而是需要以大數(shù)據(jù)技術(shù)為基礎(chǔ)，通過構(gòu)建端到端的全鏈路解決方案，真正盤活數(shù)據(jù)資產(chǎn)，以獲得數(shù)據(jù)洞察價值。”劉雄風(fēng)表示，青云大數(shù)據(jù)工作臺便是出于打通大數(shù)據(jù)全鏈路的初衷，通過整合青云完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供了一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺。
為打通大數(shù)據(jù)全鏈路而生
朱熹“問渠那得清如許，為有源頭活水來”的詩句表明，池水之所以如此清澈透明，是因?yàn)橛性丛床粩嗟幕钏⑷搿τ谔幱跀?shù)字化轉(zhuǎn)型過程中的企業(yè)來講，企業(yè)的數(shù)據(jù)洞察能力就猶如注入池塘的一股活水，能夠不斷地為企業(yè)輸入發(fā)展動力。
目前，青云大數(shù)據(jù)工作臺上線了1.0版本，主要具備“數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲和服務(wù)”功能模塊，為企業(yè)數(shù)據(jù)價值挖掘提供支持。與此同時，通過云原生、全托管式計(jì)算引擎、全生命周期數(shù)據(jù)開發(fā)、高效的數(shù)據(jù)同步服務(wù)、豐富業(yè)務(wù)場景的五層架構(gòu)支撐，青云大數(shù)據(jù)工作臺還能夠應(yīng)對大數(shù)據(jù)全鏈路場景下的復(fù)雜需求。
劉雄風(fēng)表示，青云大數(shù)據(jù)工作臺旨在降低大數(shù)據(jù)使用門檻，將代碼開發(fā)降到最低，讓非技術(shù)人員也能進(jìn)行大數(shù)據(jù)分析，實(shí)現(xiàn)數(shù)據(jù)在云平臺各產(chǎn)品之間快速流轉(zhuǎn)，支撐上層業(yè)務(wù)，消除企業(yè)“數(shù)據(jù)孤島”，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和計(jì)算，進(jìn)而幫助企業(yè)挖掘數(shù)據(jù)價值，提升整體的數(shù)據(jù)洞察能力。
具備了數(shù)據(jù)洞察能力，便能夠讓企業(yè)從海量、模糊、復(fù)雜、混亂的數(shù)據(jù)中識別和發(fā)現(xiàn)正確信息，從而更加高效合理的利用數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)真正意義上的“數(shù)據(jù)決策”。“行業(yè)中廣泛定義的數(shù)據(jù)中臺建設(shè)，是為實(shí)現(xiàn)數(shù)據(jù)快速、準(zhǔn)確、低成本賦能業(yè)務(wù)發(fā)展目標(biāo)，將企業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一整合，并基于One Data方法論而搭建的，主要以大項(xiàng)目的定制化方式進(jìn)行私有化交付，成本更大，周期也更長。而青云大數(shù)據(jù)工作臺則采用云原生架構(gòu)，基于Kubernetes實(shí)現(xiàn)資源的調(diào)度，聚焦于數(shù)據(jù)使用場景下，解決數(shù)據(jù)集成、流批一體計(jì)算、統(tǒng)一運(yùn)維和統(tǒng)一數(shù)據(jù)服務(wù)共享的問題，并通過一站式、便捷低成本的方式，幫助中小型企業(yè)快速發(fā)揮數(shù)據(jù)價值，構(gòu)建‘云上數(shù)據(jù)中臺’。”劉雄風(fēng)如此說道。
“周到”的功能特性 讓數(shù)據(jù)管理化繁為簡
數(shù)字化競爭日趨劇烈，在挖掘數(shù)據(jù)價值的過程中，數(shù)據(jù)的應(yīng)用和管理是企業(yè)能否獲取更大優(yōu)勢的關(guān)鍵。身處其中，云服務(wù)商應(yīng)該提供一整套的工具和平臺，幫助客戶打通所有平臺，連接所有數(shù)據(jù)。
在此過程中，青云堅(jiān)持“與時俱進(jìn)”的技術(shù)創(chuàng)新，并通過“化繁為簡”的方式，致力于從根本上解決企業(yè)用戶在云環(huán)境下面臨的各類數(shù)據(jù)挑戰(zhàn)，最大化的釋放出數(shù)據(jù)的潛能。以青云大數(shù)據(jù)工作臺為例，通過提供五大功能，進(jìn)一步簡化了企業(yè)的數(shù)據(jù)管理：
一是數(shù)據(jù)上云。青云大數(shù)據(jù)工作臺提供本地?cái)?shù)據(jù)源上云服務(wù)，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，可將數(shù)據(jù)安全地同步到云端，后續(xù)計(jì)算在云端完成，充分釋放了企業(yè)的服務(wù)器壓力。目前支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。同時，支持連接串模式數(shù)據(jù)源的創(chuàng)建，對接入的數(shù)據(jù)源能夠進(jìn)行列表展示和管理。
二是數(shù)據(jù)開發(fā)。在云上的大數(shù)據(jù)開發(fā)環(huán)境，青云大數(shù)據(jù)工作臺可將數(shù)據(jù)進(jìn)行加工，支持實(shí)時處理、離線批量處理。同時，根據(jù)業(yè)務(wù)需求，客戶可以選擇“可視化算子拖拽、界面化SQL開發(fā)、Jar包提交”三種方式構(gòu)建數(shù)據(jù)開發(fā)任務(wù)，滿足多維度的開發(fā)者進(jìn)行任務(wù)構(gòu)建的需求。
三是數(shù)據(jù)同步。企業(yè)可將處理完的結(jié)果數(shù)據(jù)，根據(jù)數(shù)據(jù)特性，存儲在不同的存儲介質(zhì)當(dāng)中，以備使用。為此，青云大數(shù)據(jù)工作臺提供了向?qū)胶湍_本式兩種數(shù)據(jù)同步方式：向?qū)酵酵ㄟ^便捷、簡單和可視化的智能映射，就能快速地按步驟完成數(shù)據(jù)的配置和數(shù)據(jù)集成的讀取和寫入；腳本式同步是以SQL文本的方式提供給客戶，進(jìn)行深度配置和調(diào)優(yōu)，簡便高效。
四是作業(yè)運(yùn)維調(diào)度。青云大數(shù)據(jù)工作臺自主研發(fā)的調(diào)度和任務(wù)管理模塊，可以同時根據(jù)任務(wù)維護(hù)和資源分配維度進(jìn)行分別監(jiān)控，實(shí)時跟蹤計(jì)算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計(jì)算資源，助力全流程高并發(fā)處理。
五是引擎資源管理。青云大數(shù)據(jù)工作臺提供云端全托管Flink集群，可快速完成計(jì)算集群部署；具備云原生彈性擴(kuò)容能力，節(jié)省資源，提高資源利用率；提供細(xì)粒度資源管控，最小資源使用粒度僅0.5 CU，實(shí)現(xiàn)精細(xì)化資源管控；支持按量和包年包月計(jì)費(fèi)，適配不同需求，價格低廉，安全穩(wěn)定。
劉雄風(fēng)表示，從數(shù)據(jù)上云到引擎資源管理，青云大數(shù)據(jù)工作臺具備開箱即用、彈性擴(kuò)容、存算分離、開放兼容、安全可靠、生態(tài)整合六大產(chǎn)品特性。同時，基于云原生架構(gòu)，青云大數(shù)據(jù)工作臺可以部署在開源的Kubernetes容器平臺上，對于客戶來講，使用起來更加開放和包容，能夠?qū)崿F(xiàn)跨云、跨容器、跨廠商的實(shí)時運(yùn)行。
“與具有互聯(lián)網(wǎng)背景的公有云廠商相比，青云大數(shù)據(jù)工作臺基于云原生架構(gòu)，所提供的大數(shù)據(jù)服務(wù)將會更加自由。在需求方面，基于真實(shí)的客戶場景，抽取最大化的公共需求，聚焦業(yè)務(wù)問題，優(yōu)化產(chǎn)品體驗(yàn)，以極簡的操作步驟，解決客戶的核心業(yè)務(wù)問題。與通用大數(shù)據(jù)企業(yè)相比，青云大數(shù)據(jù)工作臺可依托公有云提供的天然 Demo、快速反饋更新能力，便捷推廣和迭代產(chǎn)品。彈性計(jì)費(fèi)和靈活擴(kuò)縮容也能夠幫助客戶節(jié)省成本。”劉雄風(fēng)進(jìn)一步說道。
與時代同頻共振 青云一直在行動
如今，青云大數(shù)據(jù)工作臺能夠支撐精細(xì)化運(yùn)營分析、實(shí)時計(jì)算、可視化開發(fā)運(yùn)維，以及構(gòu)建數(shù)倉等應(yīng)用場景，可以根據(jù)物聯(lián)網(wǎng)、工業(yè)、制造、科研等不同行業(yè)、不同企業(yè)的業(yè)務(wù)需求，提供具有針對性的服務(wù)。而談及未來迭代演進(jìn)，劉雄風(fēng)表示，將聚焦數(shù)據(jù)治理、數(shù)字資產(chǎn)、優(yōu)化體驗(yàn)三方面，在客戶體驗(yàn)、數(shù)據(jù)運(yùn)行、穩(wěn)定性、容錯性等方面進(jìn)行整體的優(yōu)化和提升。
自成立至今，青云技術(shù)與產(chǎn)品的創(chuàng)新迭代都在緊跟客戶需求的變化。同時，始終堅(jiān)持以原創(chuàng)的、業(yè)界領(lǐng)先的技術(shù)與產(chǎn)品服務(wù)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，并以開源、開放的信念和姿態(tài)，與開發(fā)者和合作伙伴共同構(gòu)建新生態(tài)。身處大數(shù)據(jù)時代，青云選擇與時代共振，依靠技術(shù)和市場驅(qū)動，不斷踐行初心。
可以看到，從2014年到2018年，青云在廣度上實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全覆蓋。2018年以來，從產(chǎn)品和服務(wù)的深度入手，對各個產(chǎn)品性能、服務(wù)質(zhì)量、服務(wù)范圍都進(jìn)行了全方位的提升。目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時集成優(yōu)秀的合作伙伴應(yīng)用，形成了包括數(shù)據(jù)庫與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉庫與BI、對象存儲在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)。
如今，青云大數(shù)據(jù)工作臺的發(fā)布，進(jìn)一步豐富了青云數(shù)據(jù)產(chǎn)品生態(tài)，為企業(yè)從海量數(shù)據(jù)中提煉有價值的信息和知識提供了一套完整的系統(tǒng)支持。不僅如此，青云大數(shù)據(jù)工作臺還與KubeSphere容器平臺和IoT平臺形成合力，組建了“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體的技術(shù)方案，并在環(huán)保行業(yè)和工業(yè)行業(yè)落地應(yīng)用，幫助客戶實(shí)現(xiàn)實(shí)時數(shù)據(jù)分析、BI數(shù)據(jù)統(tǒng)計(jì)、全量歷史大數(shù)據(jù)分析和業(yè)務(wù)系統(tǒng)的數(shù)據(jù)分析、存儲、查詢、呈現(xiàn)等。
“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體技術(shù)方案
“通過深耕工業(yè)、物聯(lián)網(wǎng)等細(xì)分領(lǐng)域，我們形成了一整套相對標(biāo)準(zhǔn)的體系和方案。接下來，我們將推廣到其他的行業(yè)客戶中，除了應(yīng)用到智慧工業(yè)上，我們還能應(yīng)用到智慧零售、智慧政務(wù)和智慧校園，覆蓋到四個‘數(shù)智’化場景，持續(xù)產(chǎn)生‘數(shù)智’化價值。“劉雄風(fēng)如此說道。
