古有十年磨一劍,今有八年造存儲。QingStor NeonSAN(分布式塊存儲)、QingStor對象存儲、QingStor文件存儲以及QingStor融合存儲四款產品,就是青云QingCloud (qingcloud.com)存儲產品線——QingStor歷經八年,鍛造出來的四大明星產品,并且全部都經過了公有云和私有云的大規模驗證,甚至相比開源產品的優勢更加凸顯。
為云而生的存儲
十年前的企業級存儲市場,將分布式存儲和全閃存儲設定為主要發展趨勢,而且市場也是非常規律的逐漸發展。也正因為這樣,讓QingStor存儲產品線研發負責人王煜看到了當前存儲市場發生的巨大變化。
王煜接受賽迪網采訪時表示:"QingStor是'為云設計、為云而生'的一款產品。全線產品都是從零開始,自主設計、自主研發。在當下國內的分布式廠商中,有些是基于開源的分布式存儲作為底層做二次封裝和二次開發,QingStor有本質的區別,從架構設計階段,就采用了自己的架構設計理念,完全沒有參考當下開源的存儲架構。"
為什么要選擇自研這條非常艱難的方向來做?主要基于兩點,王煜介紹:
第一,企業核心業務上云,對于存儲的要求是非常嚴格的。這個嚴格不僅僅是像傳統存儲對性能、穩定性的要求這么簡單,更多的是云計算中復雜場景下對于安全性、隔離性、大規模水平擴展能力的要求。市面上很多主流的開源存儲,沒有一款能夠完全滿足上述所有要求。
Ceph本身在性能上有很大的弊端,很難承載企業客戶關鍵性的核心業務。HDFS是Google 2006年GFS論文的開源實現,針對互聯網大數據的場景,并不是非常通用,它的單點問題、擴展性問題,都是難題。HDFS的底層是一個單機文件系統,并沒有做太多的改造。所以單機文件系統本身存在的問題,如海量小文件的問題,HDFS也存在。
第二,希望作為一家中國企業,能夠為中國客戶提供全棧自研的優質產品,從而消除企業對數據安全的顧慮。
(圖1)
據悉,青云QingCloud從2012年開始推出第一個版本的云計算產品,就在存儲的底層堅持采用完全自研的方式,因此在過去8年時間里,累了大量在云計算環境下,對于存儲的需求和技術的實踐。到目前為止,QingStor產品家族里有四款專業存儲產品,共同支撐市面上幾乎全部主流的云計算產品。如(圖1)所示,左邊是青云QingCloud自家的產品,包括公有云、私有云等,都是由QingStor作為底層存儲來支撐。(圖1)右側是青云QingCloud對接的很多主流的平臺,包括VMware虛擬化平臺、OpenStack云平臺,還包括目前容器領域最火的Kubernetes容器平臺。
唯一支持Oracle RAC的全閃軟件定義存儲產品
提到SAN,首先想到的是"高端",可以跑核心業務,如數據庫。青云QingCloud在設計QingStor NeonSAN時,就希望打造一款擁有極致性能的分布式存儲產品,采用縮短I/O路徑棧,去掉本地文件系統,提高協議轉換效率等方法,打造一款擁有極致性能的分布式SAN存儲產品。正是因為這樣的設計,QingStor NeonSAN能夠穩定地支撐企業的核心業務,比如核心數據庫Oracle RAC。到目前為止,市面上可以很穩定、快速地跑Oracle RAC的,幾乎全都是傳統存儲。在分布式存儲里,QingStor NeonSAN應該是第一款,也是唯一一款能夠很好支持Oracle RAC的全閃SDS產品。
QingStor存儲產品線產品經理馮相東,接受賽迪網采訪時表示:"從1.0版本到現在的3.0版本,QingStor NeonSAN 整個產品迭代都在圍繞核心場景打造產品的能力。截至目前,持續賦能云平臺/虛擬化場景、大數據場景、業務連續性場景以及最近這兩年非常火的容器/云原生的四個主要核心場景。"
KubeSphere KF3000容器一體機,是青云QingCloud幫助企業級用戶快速落地容器平臺,專門推出的一款新產品,結合了KubeSphere 以及QingStor NeonSAN兩款產品本身的企業級能力,可以說是強強聯合。馮相東希望,這款產品能夠打造成為云原生基礎設施的新標桿,加速容器化環境的生產落地。
馮相東強調,目前在市面上,只有青云QingCloud可以為企業級市場提供容器平臺商業化能力的同時,又具備國內比較領先的分布式存儲能力。因此,在 KubeSphere KF3000一體機上,青云QingCloud做了代碼的優化,也做了軟硬件一體化的調優工作。KF3000這款一體機絕不是功能模塊的簡單拼湊,而是通過大量的深層優化而具有整體性的產品,提供整體的商用級服務。另外,這款產品里的核心組件經過規模化的生產驗證,可靠性方面沒有任何問題。
本次QingStor NeonSAN 3.0版本的功能升級,包含四大新增功能,馮相東介紹:
第一,異構存儲池支持。方便用戶在一套集群內使用不同硬件配置的節點,給客戶更靈活的選擇,不同的業務可以放在不同節點的存儲池上。
第二,卷粒度的QoS。它不單純是存儲層面的,QoS還可以對接物理機、云平臺里的虛擬機、容器里的Pod,和每個卷上面的應用形成更緊密的關聯,保證不同存儲集群內不同業務對QoS的需求。
第三,在協議層面的全 RDMA 互聯。目前不管是在物理機、虛機還是容器平臺上,QingStor NeonSAN都可以支持端到端的RDMA的互聯。
第四,對于業界最主流的 NVMeoF 協議的支持。QingStor NeonSAN在網絡層面,以NVMeoF 通過NVMe協議訪問后端存儲上NVMe接口的SSD,進一步提高存儲的訪問效率。
QingStor NF6000的能力——3節點100萬IOPS
QingStor NF6000分布式全閃存儲一體機也是本次青云QingCloud重磅推出的新品,從(圖2)右邊的表格可以看到QingStor NF6000的配置是基于標準的x86服務器,看似很平常的硬件配置,通過最小規模的3節點集群,青云QingCloud 可以給到客戶3節點100萬IOPS的性能指標,并且保證時延在0.5毫秒以下,這是QingStor NF6000分布式全閃存儲一體機的能力。
(圖2)
馮相東認為,這個指標完全是業界主流的中高端全閃陣列性能指標,青云QingCloud 則基于標準的x86服務器、普通的硬件配置、普通的以太網絡,以高性價比的硬件形態提供給用戶,這是QingStor NF6000分布式全閃存儲一體機最大的價值。
為什么QingStor NF6000分布式全閃存儲一體機可以實現一個3節點100萬IOPS的性能指標?首先,QingStor NeonSAN是專門為全閃設計的軟件棧,軟硬件的匹配度非常高,參數都是我們反復測試確定的最優參數。其次,硬件的性能得到充分發揮,特別是NVMe SSD的性能,我們基本可以壓榨到90-100%的水平。
除了性能是最大的亮點外,作為一體機,QingStor NF6000分布式全閃存儲一體機提供開箱即用的體驗,插電后簡單地配置就能把存儲用起來。在運維層面,針對已選定的硬件,還可以做硬盤點燈的功能,減少運維層面的工作內容。這是QingStor NF6000 分布式全閃存儲一體機及其核心價值。
面向未來的對象存儲
對象存儲是分布式存儲領域里一個新晉的派系,它解決非結構化數據存儲的問題,如海量圖片、音視頻、日志、歸檔備份等。這些數據讀取的頻率并不是特別高,通常是一次寫入、多次讀取的模型。但是其數據容量、數據數量都是非常大的。因此QingStor對象存儲設計的核心是承載海量的數據。在整個架構設計時,采用了完全Share-Nothing的架構,沒有任何單點,每一個組件都是可以無限水平擴展,并且性能不會下降。
QingStor 對象存儲產品經理賈斌接受賽迪網采訪時表示:"有句成語叫'魚和熊掌不可兼得',通常認為在一件事物身上,是無法同時擁有兩個極致的特性。QingStor 并不這樣認為,尤其是在對象存儲上。因為對于對象存儲來說,如果要想服務好當下和未來的業務場景,勢必要解決海量存儲和超高性能共存的問題。"
所以, QingStor 對象存儲花了很大的精力,在海量數據存儲能力、整體超高性能、存儲系統開放能力,這三個方向上做重點突破。賈斌認為,這是得益于對技術架構的深度思考和設計,使數據I/O能夠做到極致效率。總結下來就是一句話——QingStor 對象存儲 3.0 是一款魚和熊掌兼得的存儲服務,兼得存儲海量數據和數據存儲的超高性能。
如果評價存儲技術是整個IT技術的皇冠,文件存儲應該是皇冠上的明珠。文件存儲在技術架構的實現上是非常復雜和艱難的,目前在世界范圍內能把文件存儲,尤其是能夠做好一款分布式文件存儲的廠商很少。
QingStor 文件存儲研發負責人黃蒙,接受賽迪網采訪時表示:"今天發布的QingStor文件存儲2.0版本,是為通用場景設計的。QingStor文件存儲的接口協議部分可以完整支持POSIX語義接口,從而幫助企業零成本無縫對接企業內部各種應用系統。"
黃蒙認為,擁有通用的標準文件接口,擁有多層次的擴展性,可以同時適配差異化的文件存儲需求是QingStor文件存儲2.0版本要具備的三個能力。并且,在設計這款產品時,首先確定的是希望打造一款云計算基礎架構下,更加通用的文件存儲產品,這與青云QingCloud作為一家云計算科技公司的使命和基因是分不開的。
無論是從產品定位, 還是架構設計原則,青云QingCloud所做的所有的努力, 都是旨在打造一款在云計算基礎架構下更加通用的文件存儲產品,黃蒙希望能通過這款產品幫助更多類型的應用更平滑上云,享受到更好的云計算基礎設施帶來的便利。
不為性能妥協的融合存儲
融合存儲是青云QingCloud 2019年在CIC云計算峰會上發布的一款全新產品。為了滿足想一次采購,獲得多種存儲類型和存儲接口,承載各種業務,甚至是還不能預期一些業務需求的客戶,而打造的一款產品。與其叫產品,不如叫平臺更合適。因為QingStor融合存儲跟Ceph有一個非常本質的區別,雖然把QingStor NeonSAN(分布式塊存儲)、QingStor對象存儲、QingStor文件存儲,三款專業的存儲在部署層面上做了整合,但是在架構層面上依然保持每一個專業存儲本身的架構特點,底層存儲池融合在QingStor NeonSAN塊存儲中,使用統一的管理界面進行管理。
QingStor融合存儲與Ceph最大的區別,它是一款不為性能妥協的融合存儲。青云QingCloud希望給用戶提供統一管理體驗,提供統一存儲池的同時,還能完完整整地享受到QingStor NeonSAN(分布式塊存儲)、QingStor對象存儲、QingStor文件存儲,三款專業存儲的功能和性能。
Portal 3.0三大升級亮點
值得一提的是,在本次新版本發布里,QingStor全新升級了管理平臺Portal 3.0。這次升級的核心改進有三點,王煜介紹:
第一,加入對象存儲的管理,這是在去年發布的2.0版本里沒有的。加入對象存儲管理后,實現存儲后臺的統一管理,可以用同一個管理后臺管理所有存儲產品。
第二,在新版本的管理平臺里,運用了很多創新的圖形元素的方式,增強企業運維人員對存儲的理解。
第三,增加了硬盤健康狀況預警功能,幫助運維人員在硬盤發生故障之前,提早預測系統內部可能發生的故障。因為硬盤本身有很多指標,我們會把這些指標抓出來做分析,從而提早幫助運維人員發現問題、規避問題。
完全區別于基于開源存儲二次開發的商業存儲
QingStor在軟件架構層面上,不僅僅是自主研發,更是自主設計,完全區別于基于開源存儲二次開發的商業存儲公司。此次QingStor升級發布最核心的是把存儲全棧產品線進行國產化。除了軟件架構的部分,底層的芯片和操作系統,也與很多國產化廠商進行合作和互認證,包括鯤鵬、海光、飛騰、OpenPower等,還有操作系統,統信、麒麟等。希望通過國產化適配,能夠讓QingStor存儲產品線實現全棧國產化,從而消除企業客戶的顧慮和擔憂。