科學(xué)家通過(guò)分析過(guò)去20年的全球衛(wèi)星圖像,就能獲得每年森林的流失情況。為了得到這個(gè)數(shù)據(jù),科學(xué)家使用Google Earth Engine超算平臺(tái),動(dòng)用了1萬(wàn)臺(tái)服務(wù)器,分析了65萬(wàn)張遙感影像。借助超算的算力,整個(gè)計(jì)算時(shí)間只要4個(gè)小時(shí)。
中科院研究員商紅慧通過(guò)模擬拉曼光譜,結(jié)合量子的擾動(dòng),設(shè)計(jì)了全電子精度的第一性原理計(jì)算理論算法,能夠通過(guò)量子力學(xué)的方法對(duì)所有原子做模擬,從而得到蛋白質(zhì)分子的信息,使藥物的研發(fā)更快速、更精確。在這個(gè)辦法的背后,支撐運(yùn)行的是一套468 PFlops 算力的太湖之光超級(jí)計(jì)算機(jī),能夠模擬多達(dá)3006個(gè)原子。
F1賽道上的紅牛車(chē)隊(duì)在比賽之前會(huì)根據(jù)下一場(chǎng)比賽賽道的特定環(huán)境做模擬,包括使用虛擬風(fēng)洞來(lái)優(yōu)化空氣動(dòng)力學(xué);模擬電源散熱系統(tǒng),讓賽車(chē)能發(fā)揮最大功率;模擬碰撞優(yōu)化車(chē)身結(jié)構(gòu),讓賽車(chē)可以符合比賽的安全法規(guī)。利用超算平臺(tái)的算力,紅牛車(chē)隊(duì)這種針對(duì)性的模擬和優(yōu)化能夠在7天內(nèi)完成,保證他們每一場(chǎng)比賽都能擁有最大的優(yōu)勢(shì)。
不僅僅是科研領(lǐng)域,如今,隨著大數(shù)據(jù)經(jīng)濟(jì)的崛起、訓(xùn)練人工智能(AI)算法和運(yùn)行模擬所需的計(jì)算能力,以及云計(jì)算的增長(zhǎng),使業(yè)界對(duì)高性能計(jì)算的需求與日俱增。但與此同時(shí),大數(shù)據(jù)和人工智能與超算融合的場(chǎng)景對(duì)超算也提出了一定的挑戰(zhàn)。
首先是大數(shù)據(jù)應(yīng)用對(duì)存儲(chǔ)的需求比以前大很多,第二,不同類(lèi)型的業(yè)務(wù)對(duì)存儲(chǔ)的要求也不一樣。用戶(hù)都希望有無(wú)限的存儲(chǔ)容量、最高的性能,還要很便宜,這就需要超算中心對(duì)不同的業(yè)務(wù)提供合適的存儲(chǔ)類(lèi)型。
早期,超算中心都是圍繞計(jì)算資源建的,存儲(chǔ)上基本只有并行文件存儲(chǔ),并且容量有限,難以支撐大數(shù)據(jù)的場(chǎng)景。新一代的超算中心有些已經(jīng)配備了足夠大的容量,可以承接仿真建模類(lèi)大數(shù)據(jù)業(yè)務(wù),但由于超算中心本身提供的服務(wù)比較單一,也無(wú)法承載這種純粹的大數(shù)據(jù)業(yè)務(wù)。
而人工智能應(yīng)用的爆發(fā),則要求超算中心有充足的GPU資源,還要提供對(duì)應(yīng)的軟件框架,比如 TensorFlow。這些業(yè)務(wù)往往還希望用云原生的方式來(lái)部署和運(yùn)行。這對(duì)以 Slurm 調(diào)度器為主的超算中心也是一個(gè)很大的挑戰(zhàn)。
QingCloud EHPC,融合的超算云平臺(tái)
近日,青云科技(股票代碼:688316)推出了EHPC超算云平臺(tái)—— QingCloud EHPC,可以全面地支持各種新的業(yè)務(wù)場(chǎng)景。
對(duì)于超算最常見(jiàn)的仿真和建模業(yè)務(wù),青云提供了低延時(shí)、高帶寬的InfiniBand網(wǎng)絡(luò),高速并行文件存儲(chǔ)以及CPU/GPU的算力組合,不僅能支持大規(guī)模求解運(yùn)算,還能提供 GPU 桌面進(jìn)行圖形前后處理,完成一個(gè)閉環(huán)的業(yè)務(wù)場(chǎng)景。
對(duì)于大數(shù)據(jù)業(yè)務(wù),QingCloud云平臺(tái)提供的對(duì)象存儲(chǔ)容量達(dá)245PB,跟計(jì)算節(jié)點(diǎn)結(jié)合,可以用于大規(guī)模的數(shù)據(jù)處理和分析。計(jì)算節(jié)點(diǎn)到對(duì)象存儲(chǔ)的網(wǎng)絡(luò)帶寬有1.6T,能夠保證大數(shù)據(jù)計(jì)算的超高性能。
對(duì)于人工智能訓(xùn)練業(yè)務(wù),青云科技提供算力達(dá)850PFlops的A100 GPU資源池和全閃并行文件存儲(chǔ),并且能夠結(jié)合容器平臺(tái),提供性能極致優(yōu)化、輕量便捷、開(kāi)源開(kāi)放的人工智能平臺(tái)。
有了云平臺(tái)的多種存儲(chǔ)服務(wù),用戶(hù)可以按照自己的業(yè)務(wù)來(lái)選擇合適的存儲(chǔ)類(lèi)型,包括冷熱類(lèi)型的對(duì)象存儲(chǔ)、全閃并行文件存儲(chǔ)或者塊存儲(chǔ)等。
有了虛擬化技術(shù)的加持,青云科技可以快速為不同業(yè)務(wù)構(gòu)建其所需的運(yùn)行環(huán)境,隨時(shí)可以切換 MPI、TensorFlow 或者 MapReduce 軟件平臺(tái),充分利用超算中心的硬件資源滿(mǎn)足各種業(yè)務(wù)場(chǎng)景的需求。
傳統(tǒng)超算中心的使用及運(yùn)營(yíng)痛點(diǎn)如何解決?
用戶(hù)在使用傳統(tǒng)的超算中心時(shí),需要提交一個(gè)申請(qǐng),并且有人工審批的環(huán)節(jié),當(dāng)他得到審批通過(guò)后,還需要自己安裝VPN客戶(hù)端連接超算中心提供的登錄節(jié)點(diǎn)。
青云QingCloud EHPC超算云帶來(lái)的一個(gè)最大的變化是,把傳統(tǒng)的審批制度變成用戶(hù)自服務(wù)的形式,用戶(hù)隨時(shí)可以自己到云平臺(tái)注冊(cè)賬號(hào),并且充值購(gòu)買(mǎi)他需要的計(jì)算資源。
青云能讓高性能計(jì)算“自服務(wù)”得以實(shí)現(xiàn)是因?yàn)?ldquo;安全”做了三個(gè)改進(jìn): 計(jì)算、網(wǎng)絡(luò)跟存儲(chǔ)的租戶(hù)隔離。因?yàn)樵朴?jì)算的虛擬化技術(shù),青云天然就把計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)對(duì)于每個(gè)租戶(hù)在物理上及邏輯上做了很強(qiáng)的隔離。 青云管理節(jié)點(diǎn)跟計(jì)算節(jié)點(diǎn)分離。租戶(hù)可以使用完全獨(dú)享的登錄節(jié)點(diǎn),不必像以前那樣跟別人共享。 除了傳統(tǒng)的VPN接入,青云還能提供零信任客戶(hù)端,讓用戶(hù)登錄到超算中心的時(shí)候更便捷和安全。 青云保障安全的同時(shí),還能讓超算使用更靈活,這是由于青云提供了兩種不同類(lèi)型的超算集群:
偏傳統(tǒng)的共享型超算集群。雖然青云的計(jì)算集群是共享的,但給用戶(hù)的登錄節(jié)點(diǎn)是獨(dú)享的,所以用戶(hù)自己軟件的安裝、執(zhí)行、操作還是在自己的節(jié)點(diǎn)上,跟別的用戶(hù)是沒(méi)有關(guān)聯(lián)的。
除了共享集群之外,青云還提供一種新的獨(dú)享EHPC集群。這種EHPC集群能給用戶(hù)一個(gè)root賬號(hào),用戶(hù)使用會(huì)非常方便。一是不僅能自由地安裝自己需要的系統(tǒng)軟件,甚至切換超算平臺(tái)的各種軟件,比如前面提到AI相關(guān)的TensorFlow,或是大數(shù)據(jù)相關(guān)的Hadoop、MapReduce,用戶(hù)可以自行安裝。二是EHPC集群的節(jié)點(diǎn)是用戶(hù)獨(dú)享,使用時(shí)不需要排隊(duì),可以合理安排使用時(shí)間。三是EHPC集群的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)類(lèi)型,用戶(hù)可以根據(jù)自身特定的業(yè)務(wù)場(chǎng)景自由搭配。
以工業(yè)場(chǎng)景為例。青云在平臺(tái)上也集成了工業(yè)仿真軟件,能提供一站式的使用體驗(yàn)。求解集群能夠提供彈性的算力,很快地完成求解運(yùn)算,此外,青云還能提供桌面虛擬應(yīng)用,讓用戶(hù)完成圖形的前后處理,這樣就可以覆蓋到工業(yè)仿真軟件的全流程。
超算中心在運(yùn)營(yíng)上有一個(gè)痛點(diǎn),就是超算的業(yè)務(wù)都是短期、大規(guī)模的方式,比如1萬(wàn)個(gè)節(jié)點(diǎn)使用4個(gè)小時(shí),這就會(huì)導(dǎo)致兩個(gè)問(wèn)題:一是經(jīng)常出現(xiàn)突發(fā)業(yè)務(wù),導(dǎo)致計(jì)算資源短缺,其他用戶(hù)要用的時(shí)候需要長(zhǎng)時(shí)間排隊(duì);二是業(yè)務(wù)少的時(shí)候會(huì)出現(xiàn)大量資源空置,造成成本浪費(fèi)。
“青云的愿景是希望跟超算中心合作共建算力共享的算力網(wǎng)絡(luò)。青云的EHPC平臺(tái)不僅可以為超算中心私有化部署超算云平臺(tái),還可以為其連接全網(wǎng)算力提供外部資源支撐突發(fā)業(yè)務(wù)。當(dāng)超算中心的資源空置時(shí),也可以對(duì)外出售算力增加運(yùn)營(yíng)收入。”青云QingCloud 云平臺(tái)&服務(wù)部高級(jí)總監(jiān)陳海泉表示。
