GH200 Grace芯片搭載全球首款HBM3e處理器，可通過英偉達的NVLink技術連接其他GH200芯片，計劃明年二季度投產。依托該芯片的GH200 Grace Hopper平臺通過雙芯片配置將內存容量提高3.5倍，帶寬增加三倍。HBM3e帶寬每秒5TB，比當前的HBM3快50%，可提供總共10TB/秒的組合帶寬，使新平臺能運行比前代大3.5倍的模型。
來源：華爾街見聞
生成式AI又添強大助力，英偉達升級產品，推出容量和速度雙雙大幅提升的超級芯片GH200 Grace，力求鞏固AI芯片領域的霸主地位。
發布產品當天，英偉達股價周二低開低走，臨近午盤時刷新日低，日內跌幅達3%。
美東時間8月8日周二，英偉達發布新一代GH200 Grace Hopper平臺，該平臺依托于搭載全球首款HBM3e處理器的新型Grace Hopper超級芯片（下稱GH200），專為加速計算和生成式AI時代而打造。
新平臺旨在處理世界上最復雜的生成式AI工作負載，涵蓋大型語言模型、推薦系統和矢量數據庫，將提供多種配置。英偉達稱，GH200將于2024年第二季度投產。
新平臺采用的GH200可以通過英偉達的NVLink技術連接其他GH200芯片，共同部署在生成式AI的大模型上。這種技術讓GPU能充分訪問CPU內存，在雙芯片配置時提供合計1.2TB的快速內存。
英偉達的超大規模和高性能計算主管Ian Buck介紹，GH200比英偉達基于H100 的數據中心系統配備了更多內存和帶寬。它采用的英偉達的Hopper GPU，并結合基于Arm架構的英偉達Grace CPU。
相比前代平臺，新GH200 Grace Hopper平臺的雙芯片配置將內存容量提高3.5倍，帶寬增加三倍，一個服務器就有144個Arm Neoverse高性能內核、8 petaflops 的 AI 性能和282GB的最新HBM3e內存技術。
HBM3e是一種高帶寬內存，帶寬達每秒5TB。該內存比當前的HBM3快50%，可提供總共每秒10TB的組合帶寬，使新平臺能運行比前代大3.5倍的模型，同時通過快三倍的內存帶寬提高性能。
本周二，在計算機協會（ACM）計算機圖形和交互技術特別興趣組織（SIGGRAPH）的年度大會上發表主題演講時，英偉達CEO黃仁勛將GH200稱為“世界上最快的內存”。
黃仁勛說，為了滿足生成式 AI 不斷增長的需求，數據中心需要有針對特殊需求的加速計算平臺。新的GH200 Grace Hopper 超級芯片平臺提供了卓越的內存技術和帶寬，以此提高吞吐量，提升無損耗連接GPU聚合性能的能力，并且擁有可以在整個數據中心輕松部署的服務器設計。
黃仁勛表示，在AI時代，英偉達的技術可以替代傳統數據中心，投資800 萬美元的新技術可以取代用舊設備建造的1億美元設施，而且用電量可以減少20倍。“這就是數據中心在向加速計算轉變的原因。你買的越多，越省錢。”
快速創建生成式AI的工具包AI Workbench
除了GH200，英偉達周二還發布了新的統一工具包AI Workbench，以及對英偉達Omniverse軟件服務的重大升級。
AI Workbench為開發者提供了統一且便于使用的工具包，可在個人電腦（PC）或工作站上快速創建、測試和微調生成式AI模型，然后將其擴展到幾乎任何數據中心、公共云或者英偉達的DGX云。
英偉達稱，AI Workbench讓企業的AI項目入門不再復雜。通過在本地系統運行的簡化界面進行訪問，它讓開發者能使用自定義數據微調Hugging Face、Github 和 NGC 等常用存儲庫中的模型，然后可以在多個平臺上輕松共享模型。
借助AI Workbench，開發者只需點擊幾下即可自定義和運行生成式AI，而且他們能夠將所有必要的企業級模型、框架、軟件開發套件和庫整合到一個統一的開發者工作區中。
用黃仁勛的話來說就是：“人人都可以做到。”
