GH200 Grace芯片搭載全球首款HBM3e處理器，可通過英偉達(dá)的NVLink技術(shù)連接其他GH200芯片，計(jì)劃明年二季度投產(chǎn)。依托該芯片的GH200 Grace Hopper平臺(tái)通過雙芯片配置將內(nèi)存容量提高3.5倍，帶寬增加三倍。HBM3e帶寬每秒5TB，比當(dāng)前的HBM3快50%，可提供總共10TB/秒的組合帶寬，使新平臺(tái)能運(yùn)行比前代大3.5倍的模型。
來源：華爾街見聞
生成式AI又添強(qiáng)大助力，英偉達(dá)升級(jí)產(chǎn)品，推出容量和速度雙雙大幅提升的超級(jí)芯片GH200 Grace，力求鞏固AI芯片領(lǐng)域的霸主地位。
發(fā)布產(chǎn)品當(dāng)天，英偉達(dá)股價(jià)周二低開低走，臨近午盤時(shí)刷新日低，日內(nèi)跌幅達(dá)3%。
美東時(shí)間8月8日周二，英偉達(dá)發(fā)布新一代GH200 Grace Hopper平臺(tái)，該平臺(tái)依托于搭載全球首款HBM3e處理器的新型Grace Hopper超級(jí)芯片（下稱GH200），專為加速計(jì)算和生成式AI時(shí)代而打造。
新平臺(tái)旨在處理世界上最復(fù)雜的生成式AI工作負(fù)載，涵蓋大型語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫，將提供多種配置。英偉達(dá)稱，GH200將于2024年第二季度投產(chǎn)。
新平臺(tái)采用的GH200可以通過英偉達(dá)的NVLink技術(shù)連接其他GH200芯片，共同部署在生成式AI的大模型上。這種技術(shù)讓GPU能充分訪問CPU內(nèi)存，在雙芯片配置時(shí)提供合計(jì)1.2TB的快速內(nèi)存。
英偉達(dá)的超大規(guī)模和高性能計(jì)算主管Ian Buck介紹，GH200比英偉達(dá)基于H100 的數(shù)據(jù)中心系統(tǒng)配備了更多內(nèi)存和帶寬。它采用的英偉達(dá)的Hopper GPU，并結(jié)合基于Arm架構(gòu)的英偉達(dá)Grace CPU。
相比前代平臺(tái)，新GH200 Grace Hopper平臺(tái)的雙芯片配置將內(nèi)存容量提高3.5倍，帶寬增加三倍，一個(gè)服務(wù)器就有144個(gè)Arm Neoverse高性能內(nèi)核、8 petaflops 的 AI 性能和282GB的最新HBM3e內(nèi)存技術(shù)。
HBM3e是一種高帶寬內(nèi)存，帶寬達(dá)每秒5TB。該內(nèi)存比當(dāng)前的HBM3快50%，可提供總共每秒10TB的組合帶寬，使新平臺(tái)能運(yùn)行比前代大3.5倍的模型，同時(shí)通過快三倍的內(nèi)存帶寬提高性能。
本周二，在計(jì)算機(jī)協(xié)會(huì)（ACM）計(jì)算機(jī)圖形和交互技術(shù)特別興趣組織（SIGGRAPH）的年度大會(huì)上發(fā)表主題演講時(shí)，英偉達(dá)CEO黃仁勛將GH200稱為“世界上最快的內(nèi)存”。
黃仁勛說，為了滿足生成式 AI 不斷增長(zhǎng)的需求，數(shù)據(jù)中心需要有針對(duì)特殊需求的加速計(jì)算平臺(tái)。新的GH200 Grace Hopper 超級(jí)芯片平臺(tái)提供了卓越的內(nèi)存技術(shù)和帶寬，以此提高吞吐量，提升無損耗連接GPU聚合性能的能力，并且擁有可以在整個(gè)數(shù)據(jù)中心輕松部署的服務(wù)器設(shè)計(jì)。
黃仁勛表示，在AI時(shí)代，英偉達(dá)的技術(shù)可以替代傳統(tǒng)數(shù)據(jù)中心，投資800 萬美元的新技術(shù)可以取代用舊設(shè)備建造的1億美元設(shè)施，而且用電量可以減少20倍。“這就是數(shù)據(jù)中心在向加速計(jì)算轉(zhuǎn)變的原因。你買的越多，越省錢。”
快速創(chuàng)建生成式AI的工具包AI Workbench
除了GH200，英偉達(dá)周二還發(fā)布了新的統(tǒng)一工具包AI Workbench，以及對(duì)英偉達(dá)Omniverse軟件服務(wù)的重大升級(jí)。
AI Workbench為開發(fā)者提供了統(tǒng)一且便于使用的工具包，可在個(gè)人電腦（PC）或工作站上快速創(chuàng)建、測(cè)試和微調(diào)生成式AI模型，然后將其擴(kuò)展到幾乎任何數(shù)據(jù)中心、公共云或者英偉達(dá)的DGX云。
英偉達(dá)稱，AI Workbench讓企業(yè)的AI項(xiàng)目入門不再?gòu)?fù)雜。通過在本地系統(tǒng)運(yùn)行的簡(jiǎn)化界面進(jìn)行訪問，它讓開發(fā)者能使用自定義數(shù)據(jù)微調(diào)Hugging Face、Github 和 NGC 等常用存儲(chǔ)庫中的模型，然后可以在多個(gè)平臺(tái)上輕松共享模型。
借助AI Workbench，開發(fā)者只需點(diǎn)擊幾下即可自定義和運(yùn)行生成式AI，而且他們能夠?qū)⑺斜匾钠髽I(yè)級(jí)模型、框架、軟件開發(fā)套件和庫整合到一個(gè)統(tǒng)一的開發(fā)者工作區(qū)中。
用黃仁勛的話來說就是：“人人都可以做到。”
