過去十年,企業(yè)級存儲市場正發(fā)生深刻變化,這種變化表現(xiàn)為兩個方面:分布式存儲正在經(jīng)歷快速的增長時期。IDC2019 年市場預(yù)測報告顯示,無論是對象存儲、文件存儲還是塊存儲,在未來幾年里都會保持兩位數(shù)高速增長。
現(xiàn)如今,分布式存儲在企業(yè)內(nèi)部部署的占比越來越高,甚至超過了傳統(tǒng)存儲。這源于移動互聯(lián)網(wǎng)、大數(shù)據(jù)、5G、AIoT等新興技術(shù)應(yīng)用場景對于存儲提出新的需求。比如對高容量的需求,對更復(fù)雜場景(如云計算)的需求。分布式存儲正因為場景的不同而產(chǎn)生巨大的增長。
第二個變化是全閃存儲逐漸成為主流。IDC市場報告顯示,全閃存儲在企業(yè)中的使用率達(dá)到80%,而且?guī)缀趺磕陼3?0%的高速增長。這背后的原因在于SSD全閃介質(zhì)的成本正在逐年快速下降。
QingStor存儲產(chǎn)品線研發(fā)負(fù)責(zé)人王煜告訴記者,正是看到當(dāng)前存儲市場發(fā)生的巨大變化,過去的一年時間,QingStor圍繞新興業(yè)務(wù)場景不斷打磨,形成了豐富的解決方案。近日,QingStor產(chǎn)品家族進(jìn)行了全系產(chǎn)品更新,并推出了全閃一體機(jī)和容器存儲一體機(jī),為當(dāng)下企業(yè)級存儲市場提供了更為豐富的選擇。
堅持完全自研 QingStor獨(dú)特的競爭優(yōu)勢
QingStor是一款面向“高性能,多場景”的企業(yè)級分布式存儲產(chǎn)品,由青云QingCloud (qingcloud.com)自主設(shè)計和研發(fā)。八年鍛造,為云設(shè)計、為云而生,這款產(chǎn)品經(jīng)歷了公有云和私有云的大規(guī)模驗證,到目前為止,QingStor的產(chǎn)品家族已經(jīng)積累了數(shù)萬家企業(yè)客戶。
QingStor是集大成者,一套平臺能夠?qū)痈黝愒朴嬎愫统诤霞軜?gòu),從VMware、OpenStack、到最新的K8s;一套軟件能為Oracle等核心業(yè)務(wù)提供最強(qiáng)存儲性能支撐,又能保障業(yè)務(wù)的連續(xù)可靠。
王煜說,QingStor堅持采用完全自研的方式,積累了大量在云計算環(huán)境下對于存儲的需求和技術(shù)的實踐。QingStor存儲家族總共有四款產(chǎn)品:QingStor NeonSAN(分布式塊存儲)、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲。“這些產(chǎn)品共同支撐市面上幾乎全部主流的云計算產(chǎn)品,包括VMware虛擬化平臺、OpenStack云平臺、Kubernetes容器平臺。”
目前國內(nèi)的分布式存儲廠商大多是基于開源分布式存儲進(jìn)行二次封裝和開發(fā)。QingStor在架構(gòu)設(shè)計上并沒有參考當(dāng)下開源的存儲架構(gòu)。王煜解釋說,QingStor之所以選擇自研,主要是基于兩點:第一,企業(yè)核心業(yè)務(wù)上云對于存儲的要求非常嚴(yán)格,特別是云計算復(fù)雜場景對于安全性、隔離性、大規(guī)模水平擴(kuò)展能力的要求非常高,市面上主流的開源存儲無法滿足上述所有要求。
第二,在當(dāng)下的經(jīng)濟(jì)背景以及世界格局下,國產(chǎn)化已經(jīng)成為IT廠商和企業(yè)客戶都繞不開的話題,所以QingStor在軟件架構(gòu)層面上,不僅僅是自主研發(fā),更是自主設(shè)計。作為一家中國企業(yè),青云QingCloud能夠為中國客戶提供全棧自主可控的優(yōu)質(zhì)產(chǎn)品,從而消除企業(yè)對數(shù)據(jù)安全的顧慮。QingStor存儲家族的每一款存儲產(chǎn)品都是獨(dú)立進(jìn)行架構(gòu)設(shè)計和開發(fā)。
“此次QingStor升級發(fā)布最核心的是把存儲全棧產(chǎn)品線進(jìn)行國產(chǎn)化。除了軟件架構(gòu)的部分,底層的芯片和操作系統(tǒng),也跟很多國產(chǎn)化廠商進(jìn)行合作和互認(rèn)證,包括鯤鵬、海光、飛騰、OpenPower等,還有操作系統(tǒng),麒麟、統(tǒng)信等。我們希望通過國產(chǎn)化適配,能夠讓QingStor存儲產(chǎn)品線實現(xiàn)全棧國產(chǎn)化,給客戶很多國產(chǎn)化落地的選擇,從而消除企業(yè)客戶的顧慮和擔(dān)憂。”王煜說。
通常開源存儲或者基于開源存儲的商業(yè)存儲產(chǎn)品都采用了通用的、統(tǒng)一的存儲底層,比如Ceph,向上封裝各種不同的存儲接口。但是企業(yè)的存儲場景是復(fù)雜多樣的,不存在一種架構(gòu)設(shè)計能夠完全滿足所有存儲場景。
所以,QingStor將存儲場景大概分為熱數(shù)據(jù)、冷數(shù)據(jù)、溫數(shù)據(jù)以及混合場景,并提供了針對性的產(chǎn)品。比如QingStor NeonSAN是一款擁有極致性能的分布式SAN存儲產(chǎn)品,能夠穩(wěn)定地支撐企業(yè)的核心業(yè)務(wù),比如核心數(shù)據(jù)庫Oracle RAC。
對象存儲是分布式存儲領(lǐng)域里一個新晉的派系,它解決非結(jié)構(gòu)化數(shù)據(jù)存儲的問題,如海量圖片、音視頻、日志、歸檔備份等。QingStor對象存儲設(shè)計的核心是承載海量的數(shù)據(jù)。在整個架構(gòu)設(shè)計時,采用了完全Share-Nothing的架構(gòu),沒有任何單點,每一個組件都是可以無限水平擴(kuò)展,并且性能不會下降。比如新發(fā)布的QingStor對象存儲3. 0 版本在單bucket(存儲桶)可以支撐 100 億個對象的同時,性能也不會有所下降。
QingStor文件存儲2. 0 版本為通用場景設(shè)計,QingStor文件存儲的接口協(xié)議部分可以完整支持POSIX語義接口,從而幫助企業(yè)零成本無縫對接企業(yè)內(nèi)部各種應(yīng)用系統(tǒng)。
很多企業(yè)用戶希望通過一次采購,獲得多種存儲類型和存儲接口,承載各種業(yè)務(wù)。QingStor融合存儲的推出就是為了滿足客戶的這類需求,而且QingStor融合存儲跟Ceph有一個非常本質(zhì)的區(qū)別,那就是將其他三款專業(yè)存儲產(chǎn)品在部署層面進(jìn)行了整合,它們之間存在技術(shù)架構(gòu)集成關(guān)系,但是在架構(gòu)層面上依然保持每一個專業(yè)存儲本身的架構(gòu)特點,底層存儲池融合在QingStor NeonSAN塊存儲中,使用統(tǒng)一的管理界面進(jìn)行管理。
王煜表示,新版本QingStor全新升級了管理平臺Portal 3.0,核心改進(jìn)有三點: 第一,加入對象存儲的管理,實現(xiàn)存儲后臺的統(tǒng)一管理,可以用同一個管理后臺管理所有存儲產(chǎn)品;第二,在新版本的管理平臺里,運(yùn)用了很多創(chuàng)新的圖形元素的方式,增強(qiáng)企業(yè)運(yùn)維人員對存儲的理解;第三,增加了硬盤健康狀況預(yù)警功能,幫助運(yùn)維人員在硬盤發(fā)生故障之前,提早預(yù)測系統(tǒng)內(nèi)部可能發(fā)生的故障。
細(xì)數(shù)QingStor存儲家族的更新亮點
前面說過QingStor存儲家族包含了四款產(chǎn)品,在這次更新中,全系產(chǎn)品進(jìn)行了功能迭代,亮點非常多。
QingStor NeonSAN 3. 0 版本里進(jìn)行了場景能力提升和功能升級。QingStor存儲產(chǎn)品線產(chǎn)品經(jīng)理馮相東介紹說,從1. 0 版本到現(xiàn)在的3. 0 版本,QingStor NeonSAN 整個產(chǎn)品迭代都在圍繞核心場景打造產(chǎn)品的能力,這次更新圍繞以下四個主要核心場景:云平臺/虛擬化場景、大數(shù)據(jù)場景、業(yè)務(wù)連續(xù)性場景以及容器/云原生的場景。
例如,QingStor NeonSAN除了可以與QingCloud云平臺形成完美的對接、實現(xiàn)云平臺層面的統(tǒng)一管理和性能的最大優(yōu)化之外,還能很好地對接目前業(yè)界使用比較多的虛擬化平臺、云計算平臺,如VMware平臺、OpenStack平臺、Hyper-V平臺;針對大數(shù)據(jù)場景,QingStor NeonSAN提供互斥卷組的策略,保證Hadoop、Spark的存儲效率得到很大的提升;QingStor NeonSAN能夠跟青云QingCloud云平臺一起,統(tǒng)一管理云平臺上的計算資源、網(wǎng)絡(luò)資源、存儲資源,提供一整套完整的業(yè)務(wù)連續(xù)性管理的解決方案,滿足業(yè)務(wù)對不同RPO/RTO的要求,大大地簡化業(yè)務(wù)連續(xù)性的管理,提高業(yè)務(wù)連續(xù)性的效率;QingStor NeonSAN增強(qiáng)持久化全閃存儲的能力,可以為K8s、KubeSphere容器平臺提供高性能、可靠性、企業(yè)級分布式存儲的能力。
在功能升級方面,QingStor NeonSAN 3. 0 版本包含四大新增功能:異構(gòu)存儲池支持、卷粒度的QoS、協(xié)議層面的全RDMA互聯(lián)、業(yè)界最主流的NVMeoF協(xié)議支持。除了以上新增的主要功能外,QingStor NeonSAN 3. 0 版本也進(jìn)行了效率、運(yùn)維、用戶友好性等多項優(yōu)化。
在場景能力提升和軟件功能更新的同時,QingStor還推出了容器存儲一體機(jī)KubeSphere KF3000 和和分布式全閃存儲一體機(jī)QingStor NF6000。
KubeSphere KF3000 是青云QingCloud幫助企業(yè)級用戶快速落地容器平臺專門推出的一款產(chǎn)品,結(jié)合了KubeSphere以及QingStor NeonSAN兩款產(chǎn)品本身的企業(yè)級能力,幫助企業(yè)打造成云原生基礎(chǔ)設(shè)施,加速容器化環(huán)境的生產(chǎn)落地。
QingStor NF6000 基于標(biāo)準(zhǔn)的x86 服務(wù)器, 3 節(jié)點可以實現(xiàn) 100 萬IOPS的性能指標(biāo),并且保證時延在0. 5 個毫秒以下。“這個指標(biāo)完全是業(yè)界主流的中高端全閃陣列性能指標(biāo),青云QingCloud則基于標(biāo)準(zhǔn)的x86 服務(wù)器、普通的硬件配置、以太網(wǎng)絡(luò),以高性價比的硬件形態(tài)提供給用戶,這是QingStor NF6000 分布式全閃存儲一體機(jī)最大的價值。”馮相東說。
在對象存儲方面,QingStor對象存儲3. 0 帶來了新能力:第一是服務(wù)更多數(shù)據(jù)場景,比如數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、數(shù)據(jù)備份、AI視頻監(jiān)控;第二是更強(qiáng)大、更具優(yōu)勢的存儲性能,應(yīng)對用戶更復(fù)雜多樣的需求場景。
QingStor對象存儲產(chǎn)品經(jīng)理賈斌表示,QingStor對象存儲3. 0 帶來四個新功能:對象版本控制、數(shù)據(jù)的追加寫入、數(shù)據(jù)跨區(qū)域復(fù)制以及官方生態(tài)工具的重大重構(gòu)升級,這四大功能分別對應(yīng)四個有代表意義的業(yè)務(wù)場景,那就是數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、數(shù)據(jù)備份、AI與視頻監(jiān)控,從而滿足用戶更加復(fù)雜多樣的業(yè)務(wù)需求。
QingStor對象存儲3. 0 因其超高的性能,提供標(biāo)準(zhǔn)開放的應(yīng)用接口。整體的高性價比,不僅僅是分布式存儲對傳統(tǒng)存儲的成本優(yōu)勢,還有靈活部署、運(yùn)維簡單等隱性成本,得以很好地勝任客戶需求。
QingStor對象存儲場景化能力的提升并沒有帶有特別的行業(yè)屬性,但是有了這些功能后,ISV能更容易地基于QingStor存儲產(chǎn)品開發(fā)上層的應(yīng)用。市面上有很多對象存儲沒有提供相應(yīng)的功能接口,ISV需要自己調(diào)整和適配。QingStor對象存儲場景化能力幫助存儲上層的ISV廠商對接產(chǎn)品。
“應(yīng)對日益多變的業(yè)務(wù)需求,QingStor對象存儲在海量數(shù)據(jù)存儲能力、整體超高性能、存儲系統(tǒng)開放能力三個方面持續(xù)發(fā)力,實現(xiàn)了存儲海量數(shù)據(jù)和數(shù)據(jù)存儲的超高性能的兼得,豐富海量數(shù)據(jù)存儲場景下的多維解決方案。”賈斌說。
在文件存儲方面,要想實現(xiàn)在云計算基礎(chǔ)架構(gòu)下的通用文件存儲,通常需要三個能力:通用的標(biāo)準(zhǔn)文件接口、多層次的擴(kuò)展性,可以同時適配差異化的文件存儲需求。QingStor文件存儲的設(shè)計目標(biāo)就是要在支持通用文件接口和通用的網(wǎng)絡(luò)文件協(xié)議的前提下,提供一個可擴(kuò)展高可用的分布式文件存儲系統(tǒng)。
QingStor文件存儲2. 0 實現(xiàn)了局部服務(wù)架構(gòu)的優(yōu)化,包括各個協(xié)議服務(wù)的I/O核心邏輯下沉或者卸載到統(tǒng)一的I/O服務(wù)中,由I/O服務(wù)負(fù)責(zé)Cache的管理和維護(hù);增加智能的IO路由功能,實現(xiàn)更平滑的故障切換。此外,QingStor文件存儲2. 0 采用了更先進(jìn)、非常適合底層存儲編碼的編程語言——Rust,也帶來了容量QUOTA限制、數(shù)據(jù)壓縮/加密功能、更豐富的監(jiān)控告警維度等。
“QingStor文件存儲旨在打造一款在云計算基礎(chǔ)架構(gòu)下更加通用的文件存儲產(chǎn)品,我們希望能通過這款產(chǎn)品幫助更多類型的應(yīng)用更平滑上云,享受到更好的云計算基礎(chǔ)設(shè)施帶來的便利。”QingStor文件存儲研發(fā)負(fù)責(zé)人黃蒙說。
結(jié)語
著眼于整個企業(yè)級存儲市場的發(fā)展趨勢,QingStor結(jié)合青云QingCloud在云計算領(lǐng)域的深厚積淀,通過自研實現(xiàn)技術(shù)創(chuàng)新和產(chǎn)品迭代,引領(lǐng)了存儲市場的潮流。不管是分布式塊存儲,還是對象存儲、文件存儲、融合存儲,QingStor始終站在客戶的角度進(jìn)行思考,幫助客戶解決業(yè)務(wù)問題,這才是其生命力的源泉。