據(jù)IDC預(yù)測(cè)，到2025 年，全球產(chǎn)生的數(shù)據(jù)量將達(dá)到175ZB，其中超過(guò)80%的數(shù)據(jù)都會(huì)是處理難度較大的非結(jié)構(gòu)化數(shù)據(jù)。
當(dāng)前，對(duì)巨量且仍不斷增長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效存儲(chǔ)、管理、分析，已經(jīng)成為企業(yè)數(shù)字化、智能化轉(zhuǎn)型時(shí)需要著重處理的環(huán)節(jié)。
長(zhǎng)期自研存儲(chǔ)技術(shù)的青云科技推出的非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)QingStor U10000，面向私有云場(chǎng)景，賦能企業(yè)加速數(shù)字化轉(zhuǎn)型。
青云科技存儲(chǔ)產(chǎn)品總監(jiān)馮相東介紹，和QingStor NeonSAN 主要面向結(jié)構(gòu)化數(shù)據(jù)高性能業(yè)務(wù)場(chǎng)景需求不同，QingStor U10000 主要面向非結(jié)構(gòu)化數(shù)據(jù)的場(chǎng)景，包括影像數(shù)據(jù)、音視頻數(shù)據(jù)、數(shù)據(jù)湖、大數(shù)據(jù)、物聯(lián)網(wǎng)等場(chǎng)景。青云希望通過(guò)專業(yè)的存儲(chǔ)分工能更好地服務(wù)專業(yè)的場(chǎng)景。
據(jù)悉，QingStor U10000產(chǎn)品設(shè)計(jì)初衷就是為了幫助客戶更好地實(shí)現(xiàn)海量數(shù)據(jù)的價(jià)值挖掘。QingStor U10000支持文件、對(duì)象和大數(shù)據(jù)三種非結(jié)構(gòu)化數(shù)據(jù)訪問(wèn)協(xié)議互通及無(wú)損共享，容量方面支持橫向擴(kuò)展，線性增加整體系統(tǒng)的容量和性能，且可獨(dú)立水平擴(kuò)展元數(shù)據(jù)和存儲(chǔ)節(jié)點(diǎn)；安全性方面，實(shí)現(xiàn)元數(shù)據(jù)和業(yè)務(wù)存儲(chǔ)數(shù)據(jù)分離存儲(chǔ)，有效規(guī)避單點(diǎn)故障；在運(yùn)維方面，提供資源管理、配置管理、告警、日志、監(jiān)控等一系列的統(tǒng)一管理平臺(tái)。
根據(jù)客戶需求，QingStor U10000支持軟件交付和存儲(chǔ)一體機(jī)兩種交付模式。
全自研
馮相東表示，青云存儲(chǔ)產(chǎn)品的一個(gè)重要特點(diǎn)就是，真正自研的中國(guó)存儲(chǔ)。和QingStor NeonSAN 一樣，QingStor U10000繼承與融合QingStor對(duì)象存儲(chǔ)及文件存儲(chǔ)，也是由青云科技存儲(chǔ)團(tuán)隊(duì)自主設(shè)計(jì)，沒(méi)有繼承任何開(kāi)源的架構(gòu)，不存在任何知識(shí)產(chǎn)權(quán)的風(fēng)險(xiǎn)。自主研發(fā)使得技術(shù)QingStor U10000百分百可控，不存在技術(shù)盲區(qū)，能更好支撐企業(yè)數(shù)字化轉(zhuǎn)型需求。
在信創(chuàng)領(lǐng)域，包括QingStor U10000在內(nèi)的青云各產(chǎn)品線兼容核心國(guó)產(chǎn)硬件平臺(tái)和操作系統(tǒng)平臺(tái)，比如鯤鵬、飛騰、海光等目前主流的國(guó)產(chǎn)硬件平臺(tái)，還有麒麟軟件、統(tǒng)信、openEuler等國(guó)產(chǎn)操作系統(tǒng)，青云已實(shí)現(xiàn)完整的生產(chǎn)化兼容。
“青云作為中國(guó)云計(jì)算公司，懷揣著中國(guó)存儲(chǔ)服務(wù)數(shù)字中國(guó)的愿景，希望通過(guò)自身的努力能消除企業(yè)對(duì)數(shù)據(jù)安全的顧慮，以真正自研的中國(guó)存儲(chǔ)服務(wù)于數(shù)字中國(guó)。”馮相東強(qiáng)調(diào)。
真多協(xié)議無(wú)損互通
QingStor U10000相比于青云早前推出的QingStor對(duì)象存儲(chǔ)和文件存儲(chǔ)產(chǎn)品，除了產(chǎn)品力的全面繼承，還以幾個(gè)方面做了明顯的能力提升，包括實(shí)現(xiàn)數(shù)據(jù)協(xié)議的互通，功能和性能的增強(qiáng)，整個(gè)算力平臺(tái)對(duì)接的強(qiáng)化等。
馮相東特別強(qiáng)調(diào)，QingStor U10000構(gòu)建了統(tǒng)一索引架構(gòu)，支持多協(xié)議無(wú)損互通，從而實(shí)現(xiàn)數(shù)據(jù)的訪問(wèn)和流通的高效。
為什么要特別強(qiáng)調(diào)“協(xié)議互通可以讓數(shù)據(jù)分析更高效”，馮相東闡述道：“一份數(shù)據(jù)在一個(gè)完整的業(yè)務(wù)場(chǎng)景下可能會(huì)在多個(gè)環(huán)節(jié)有數(shù)據(jù)處理的需求，如果做不到協(xié)議互通，這個(gè)數(shù)據(jù)需要不停地Copy，比如在這個(gè)業(yè)務(wù)的存儲(chǔ)空間里先處理完，再Copy到另一個(gè)存儲(chǔ)空間，用另一種存儲(chǔ)協(xié)議做訪問(wèn)，這樣會(huì)增加多種存儲(chǔ)間數(shù)據(jù)遷移的成本。”
也就是說(shuō)，無(wú)論是基于對(duì)象接口存進(jìn)來(lái)的數(shù)據(jù)、基于NFS/SMB存進(jìn)來(lái)的數(shù)據(jù)，還是通過(guò)HDFS大數(shù)據(jù)專用協(xié)議存進(jìn)來(lái)的數(shù)據(jù)，QingStor U10000都是基于統(tǒng)一的索引架構(gòu)提供這些數(shù)據(jù)的元數(shù)據(jù)管理。這種架構(gòu)為應(yīng)用帶來(lái)好處就是：不需要通過(guò)格式轉(zhuǎn)化就能讓對(duì)象存儲(chǔ)存進(jìn)來(lái)的數(shù)據(jù)，通過(guò)NFS訪問(wèn)，或者NFS存進(jìn)來(lái)的數(shù)據(jù)可以通過(guò)S3訪問(wèn)。存儲(chǔ)和讀取數(shù)據(jù)之間不需要經(jīng)過(guò)格式轉(zhuǎn)化，這樣就不會(huì)存在性能和語(yǔ)義的損失。
以自動(dòng)駕駛場(chǎng)景為例，馮相東介紹道，“通常情況下，一輛路測(cè)車每天可能會(huì)產(chǎn)生幾TB或者幾十TB的數(shù)據(jù)，有幾十輛路測(cè)車，每天產(chǎn)生差不多1PB的數(shù)據(jù)，正常情況下，這1PB的數(shù)據(jù)需要通過(guò)四個(gè)環(huán)節(jié)的處理才能真正發(fā)揮其作用。第一個(gè)環(huán)節(jié)是數(shù)據(jù)的上傳和導(dǎo)入，通常會(huì)用到存儲(chǔ)里的S3和NFS的協(xié)議。第二個(gè)環(huán)節(jié)是數(shù)據(jù)預(yù)處理，基本上以HDFS這種大數(shù)據(jù)分析的框架為主。第三個(gè)環(huán)節(jié)是AI訓(xùn)練，以NFS協(xié)議為主。第四個(gè)環(huán)節(jié)還會(huì)涉及仿真測(cè)試，主要以NFS和SMB協(xié)議為主。通過(guò)自動(dòng)駕駛完整數(shù)據(jù)鏈的處理環(huán)節(jié)可以看到，一份數(shù)據(jù)在不同的階段，需要通過(guò)不同的數(shù)據(jù)訪問(wèn)協(xié)議對(duì)接不同的計(jì)算框架，只有協(xié)議互通才能讓數(shù)據(jù)分析更高效。”
市面上雖然也有在講協(xié)議互通的分布式存儲(chǔ)廠商，但大多是通過(guò)格式轉(zhuǎn)化的技術(shù)實(shí)現(xiàn)的，談不上真正的“多協(xié)議無(wú)損互通”，在底層來(lái)看，就是因?yàn)闆](méi)有統(tǒng)一的索引架構(gòu)。馮相東認(rèn)為：“統(tǒng)一的索引架構(gòu)是QingStor U10000 在架構(gòu)層面非常明顯的一個(gè)優(yōu)勢(shì)。”
青云科技產(chǎn)品技術(shù)解決方案總監(jiān)張忠華介紹，QingStor U10000廣泛適用于容器存儲(chǔ)、大數(shù)據(jù)分析、PACS（醫(yī)療影像系統(tǒng)）、高精度地圖、多媒體數(shù)據(jù)處理與存儲(chǔ)、冷數(shù)據(jù)備份和歸檔等應(yīng)用場(chǎng)景，并已經(jīng)在互聯(lián)網(wǎng)體檢、智能駕駛、智能工廠的IoT場(chǎng)景和多元化的超算場(chǎng)景成功應(yīng)用。例如，青云提供的存儲(chǔ)集群及算力資源，基本上解決了某智能駕駛科技公司的高精度地圖業(yè)務(wù)場(chǎng)景從采集、生產(chǎn)、訓(xùn)練整個(gè)生命周期的存儲(chǔ)和算力的需求。
