想必大家都聽說過盲人摸象的寓言故事，這則寓言告訴我們，每個人摸得都是象的一部分，而部分并不能代表全部。事實上，任何事物只關注于一點，似乎都會落入以偏概全的誤區(qū)當中。進入大數(shù)據(jù)時代，企業(yè)內(nèi)部的數(shù)據(jù)越積越多，以前企業(yè)只知道將數(shù)據(jù)存起來，認為這就是企業(yè)的價值所在。
青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風表示，大數(shù)據(jù)的價值并不是數(shù)據(jù)本身，而是數(shù)據(jù)背后所隱藏的對業(yè)務有影響的信息和知識。以Wikipedia的數(shù)據(jù)金字塔為例，從數(shù)據(jù)層到智慧層，每往上一層，對應的數(shù)據(jù)量就會小一點，而對業(yè)務的影響價值就會更大一些。而要從海量數(shù)據(jù)中提煉出有價值的信息和知識，需要經(jīng)過很長鏈路的流式處理，如果沒有一套完整的系統(tǒng)保障這條鏈路的高效運轉(zhuǎn)，則很難實現(xiàn)這一目標。
“此時，企業(yè)需要的并不只是Hadoop、Spark和Flink等大數(shù)據(jù)產(chǎn)品組件的堆疊，而是需要以大數(shù)據(jù)技術(shù)為基礎，通過構(gòu)建端到端的全鏈路解決方案，真正盤活數(shù)據(jù)資產(chǎn)，以獲得數(shù)據(jù)洞察價值。”劉雄風表示，青云大數(shù)據(jù)工作臺便是出于打通大數(shù)據(jù)全鏈路的初衷，通過整合青云完整的數(shù)據(jù)產(chǎn)品和服務，為客戶提供了一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺。
為打通大數(shù)據(jù)全鏈路而生
朱熹“問渠那得清如許，為有源頭活水來”的詩句表明，池水之所以如此清澈透明，是因為有源源不斷的活水注入。對于處于數(shù)字化轉(zhuǎn)型過程中的企業(yè)來講，企業(yè)的數(shù)據(jù)洞察能力就猶如注入池塘的一股活水，能夠不斷地為企業(yè)輸入發(fā)展動力。
目前，青云大數(shù)據(jù)工作臺上線了1.0版本，主要具備“數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲和服務”功能模塊，為企業(yè)數(shù)據(jù)價值挖掘提供支持。與此同時，通過云原生、全托管式計算引擎、全生命周期數(shù)據(jù)開發(fā)、高效的數(shù)據(jù)同步服務、豐富業(yè)務場景的五層架構(gòu)支撐，青云大數(shù)據(jù)工作臺還能夠應對大數(shù)據(jù)全鏈路場景下的復雜需求。
劉雄風表示，青云大數(shù)據(jù)工作臺旨在降低大數(shù)據(jù)使用門檻，將代碼開發(fā)降到最低，讓非技術(shù)人員也能進行大數(shù)據(jù)分析，實現(xiàn)數(shù)據(jù)在云平臺各產(chǎn)品之間快速流轉(zhuǎn)，支撐上層業(yè)務，消除企業(yè)“數(shù)據(jù)孤島”，實現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和計算，進而幫助企業(yè)挖掘數(shù)據(jù)價值，提升整體的數(shù)據(jù)洞察能力。
具備了數(shù)據(jù)洞察能力，便能夠讓企業(yè)從海量、模糊、復雜、混亂的數(shù)據(jù)中識別和發(fā)現(xiàn)正確信息，從而更加高效合理的利用數(shù)據(jù)資產(chǎn)，實現(xiàn)真正意義上的“數(shù)據(jù)決策”。“行業(yè)中廣泛定義的數(shù)據(jù)中臺建設，是為實現(xiàn)數(shù)據(jù)快速、準確、低成本賦能業(yè)務發(fā)展目標，將企業(yè)數(shù)據(jù)進行統(tǒng)一整合，并基于One Data方法論而搭建的，主要以大項目的定制化方式進行私有化交付，成本更大，周期也更長。而青云大數(shù)據(jù)工作臺則采用云原生架構(gòu)，基于Kubernetes實現(xiàn)資源的調(diào)度，聚焦于數(shù)據(jù)使用場景下，解決數(shù)據(jù)集成、流批一體計算、統(tǒng)一運維和統(tǒng)一數(shù)據(jù)服務共享的問題，并通過一站式、便捷低成本的方式，幫助中小型企業(yè)快速發(fā)揮數(shù)據(jù)價值，構(gòu)建‘云上數(shù)據(jù)中臺’。”劉雄風如此說道。
“周到”的功能特性 讓數(shù)據(jù)管理化繁為簡
數(shù)字化競爭日趨劇烈，在挖掘數(shù)據(jù)價值的過程中，數(shù)據(jù)的應用和管理是企業(yè)能否獲取更大優(yōu)勢的關鍵。身處其中，云服務商應該提供一整套的工具和平臺，幫助客戶打通所有平臺，連接所有數(shù)據(jù)。
在此過程中，青云堅持“與時俱進”的技術(shù)創(chuàng)新，并通過“化繁為簡”的方式，致力于從根本上解決企業(yè)用戶在云環(huán)境下面臨的各類數(shù)據(jù)挑戰(zhàn)，最大化的釋放出數(shù)據(jù)的潛能。以青云大數(shù)據(jù)工作臺為例，通過提供五大功能，進一步簡化了企業(yè)的數(shù)據(jù)管理：
一是數(shù)據(jù)上云。青云大數(shù)據(jù)工作臺提供本地數(shù)據(jù)源上云服務，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，可將數(shù)據(jù)安全地同步到云端，后續(xù)計算在云端完成，充分釋放了企業(yè)的服務器壓力。目前支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。同時，支持連接串模式數(shù)據(jù)源的創(chuàng)建，對接入的數(shù)據(jù)源能夠進行列表展示和管理。
二是數(shù)據(jù)開發(fā)。在云上的大數(shù)據(jù)開發(fā)環(huán)境，青云大數(shù)據(jù)工作臺可將數(shù)據(jù)進行加工，支持實時處理、離線批量處理。同時，根據(jù)業(yè)務需求，客戶可以選擇“可視化算子拖拽、界面化SQL開發(fā)、Jar包提交”三種方式構(gòu)建數(shù)據(jù)開發(fā)任務，滿足多維度的開發(fā)者進行任務構(gòu)建的需求。
三是數(shù)據(jù)同步。企業(yè)可將處理完的結(jié)果數(shù)據(jù)，根據(jù)數(shù)據(jù)特性，存儲在不同的存儲介質(zhì)當中，以備使用。為此，青云大數(shù)據(jù)工作臺提供了向?qū)胶湍_本式兩種數(shù)據(jù)同步方式：向?qū)酵酵ㄟ^便捷、簡單和可視化的智能映射，就能快速地按步驟完成數(shù)據(jù)的配置和數(shù)據(jù)集成的讀取和寫入；腳本式同步是以SQL文本的方式提供給客戶，進行深度配置和調(diào)優(yōu)，簡便高效。
四是作業(yè)運維調(diào)度。青云大數(shù)據(jù)工作臺自主研發(fā)的調(diào)度和任務管理模塊，可以同時根據(jù)任務維護和資源分配維度進行分別監(jiān)控，實時跟蹤計算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計算資源，助力全流程高并發(fā)處理。
五是引擎資源管理。青云大數(shù)據(jù)工作臺提供云端全托管Flink集群，可快速完成計算集群部署；具備云原生彈性擴容能力，節(jié)省資源，提高資源利用率；提供細粒度資源管控，最小資源使用粒度僅0.5 CU，實現(xiàn)精細化資源管控；支持按量和包年包月計費，適配不同需求，價格低廉，安全穩(wěn)定。
劉雄風表示，從數(shù)據(jù)上云到引擎資源管理，青云大數(shù)據(jù)工作臺具備開箱即用、彈性擴容、存算分離、開放兼容、安全可靠、生態(tài)整合六大產(chǎn)品特性。同時，基于云原生架構(gòu)，青云大數(shù)據(jù)工作臺可以部署在開源的Kubernetes容器平臺上，對于客戶來講，使用起來更加開放和包容，能夠?qū)崿F(xiàn)跨云、跨容器、跨廠商的實時運行。
“與具有互聯(lián)網(wǎng)背景的公有云廠商相比，青云大數(shù)據(jù)工作臺基于云原生架構(gòu)，所提供的大數(shù)據(jù)服務將會更加自由。在需求方面，基于真實的客戶場景，抽取最大化的公共需求，聚焦業(yè)務問題，優(yōu)化產(chǎn)品體驗，以極簡的操作步驟，解決客戶的核心業(yè)務問題。與通用大數(shù)據(jù)企業(yè)相比，青云大數(shù)據(jù)工作臺可依托公有云提供的天然 Demo、快速反饋更新能力，便捷推廣和迭代產(chǎn)品。彈性計費和靈活擴縮容也能夠幫助客戶節(jié)省成本。”劉雄風進一步說道。
與時代同頻共振 青云一直在行動
如今，青云大數(shù)據(jù)工作臺能夠支撐精細化運營分析、實時計算、可視化開發(fā)運維，以及構(gòu)建數(shù)倉等應用場景，可以根據(jù)物聯(lián)網(wǎng)、工業(yè)、制造、科研等不同行業(yè)、不同企業(yè)的業(yè)務需求，提供具有針對性的服務。而談及未來迭代演進，劉雄風表示，將聚焦數(shù)據(jù)治理、數(shù)字資產(chǎn)、優(yōu)化體驗三方面，在客戶體驗、數(shù)據(jù)運行、穩(wěn)定性、容錯性等方面進行整體的優(yōu)化和提升。
自成立至今，青云技術(shù)與產(chǎn)品的創(chuàng)新迭代都在緊跟客戶需求的變化。同時，始終堅持以原創(chuàng)的、業(yè)界領先的技術(shù)與產(chǎn)品服務產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，并以開源、開放的信念和姿態(tài)，與開發(fā)者和合作伙伴共同構(gòu)建新生態(tài)。身處大數(shù)據(jù)時代，青云選擇與時代共振，依靠技術(shù)和市場驅(qū)動，不斷踐行初心。
可以看到，從2014年到2018年，青云在廣度上實現(xiàn)了數(shù)據(jù)產(chǎn)品和服務的全覆蓋。2018年以來，從產(chǎn)品和服務的深度入手，對各個產(chǎn)品性能、服務質(zhì)量、服務范圍都進行了全方位的提升。目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務，同時集成優(yōu)秀的合作伙伴應用，形成了包括數(shù)據(jù)庫與緩存、消息隊列與中間件、大數(shù)據(jù)服務、數(shù)據(jù)倉庫與BI、對象存儲在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)。
如今，青云大數(shù)據(jù)工作臺的發(fā)布，進一步豐富了青云數(shù)據(jù)產(chǎn)品生態(tài)，為企業(yè)從海量數(shù)據(jù)中提煉有價值的信息和知識提供了一套完整的系統(tǒng)支持。不僅如此，青云大數(shù)據(jù)工作臺還與KubeSphere容器平臺和IoT平臺形成合力，組建了“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體的技術(shù)方案，并在環(huán)保行業(yè)和工業(yè)行業(yè)落地應用，幫助客戶實現(xiàn)實時數(shù)據(jù)分析、BI數(shù)據(jù)統(tǒng)計、全量歷史大數(shù)據(jù)分析和業(yè)務系統(tǒng)的數(shù)據(jù)分析、存儲、查詢、呈現(xiàn)等。
“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體技術(shù)方案
“通過深耕工業(yè)、物聯(lián)網(wǎng)等細分領域，我們形成了一整套相對標準的體系和方案。接下來，我們將推廣到其他的行業(yè)客戶中，除了應用到智慧工業(yè)上，我們還能應用到智慧零售、智慧政務和智慧校園，覆蓋到四個‘數(shù)智’化場景，持續(xù)產(chǎn)生‘數(shù)智’化價值。“劉雄風如此說道。
