【ITBEAR科技資訊】7月28日消息，美光科技股份有限公司今日發(fā)布了一項重要消息。據(jù)悉，該公司已開始提供業(yè)界首款8層堆疊的24GB容量第二代HBM3內存，其帶寬高達1.2TB/s，引腳速率超過9.2Gb/s，性能較市面上現(xiàn)有HBM3解決方案提升最高50%。這一新產(chǎn)品創(chuàng)下了關鍵型人工智能(AI)數(shù)據(jù)中心性能、容量和能效指標的新紀錄，預計將在AI領域發(fā)揮巨大作用。
據(jù)了解，美光的第二代HBM3產(chǎn)品在與前一代相比，每瓦性能提高了2.5倍，為AI數(shù)據(jù)中心的極端功耗需求提供了有效的解決方案。為實現(xiàn)能效的顯著提升，美光在技術上進行了革新，如將硅通孔(TSV)數(shù)量翻倍，增加金屬密度以降低熱阻，并設計了更為節(jié)能的數(shù)據(jù)通路。這些舉措使得美光第二代HBM3內存成為滿足生成式AI領域多模態(tài)、數(shù)萬億參數(shù)AI模型日益增長需求的理想選擇。
據(jù)ITBEAR科技資訊了解，這款高性能內存將為大型語言模型的訓練時間縮短30%以上，從而有效降低總體擁有成本。除此之外，美光第二代HBM3內存還將帶來每日查詢量的顯著增加，更有效地利用訓練過的模型，進一步提升AI數(shù)據(jù)中心的運營效率。在已經(jīng)部署的1000萬個圖形處理器(GPU)用例中，單個HBM模塊可節(jié)約5瓦功耗，為客戶節(jié)省高達5.5億美元的運營費用。
作為計算與網(wǎng)絡領域的領導廠商，美光與臺積電3DFabric聯(lián)盟展開合作，共同構建半導體和系統(tǒng)創(chuàng)新的未來。在第二代HBM3產(chǎn)品開發(fā)過程中，美光與臺積電密切合作，為AI及高性能計算(HPC)設計應用中的順利引入和集成計算系統(tǒng)奠定了基礎。目前，臺積電已收到美光第二代HBM3內存樣片，正在進行下一步的評估和測試，預計將助力客戶的下一代高性能計算應用創(chuàng)新。
美光副總裁暨計算與網(wǎng)絡事業(yè)部計算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示：“美光第二代HBM3解決方案旨在為客戶及業(yè)界提供卓越的人工智能和高性能計算解決方案。我們的一個重要考量標準是，該產(chǎn)品在客戶平臺上是否易于集成。美光HBM3具有完全可編程的內存內建自測試(MBIST)功能，可在完整規(guī)格的引腳速度下運行，使美光能為客戶提供更強大的測試能力，實現(xiàn)高效協(xié)作，助力客戶縮短產(chǎn)品上市時間。”
英偉達超大規(guī)模和高性能計算副總裁Ian Buck也對美光的技術創(chuàng)新表示期待：“生成式AI的核心是加速計算，HBM的高帶寬至關重要，并帶來更出色的能效。我們與美光在眾多產(chǎn)品領域保持了長期合作，非常期待與美光在第二代HBM3產(chǎn)品上繼續(xù)合作，加速AI創(chuàng)新。”
美光的第二代HBM3產(chǎn)品展現(xiàn)了公司在AI服務器領域的前沿技術創(chuàng)新。此前，美光已推出基于1α(1-alpha)節(jié)點、24Gb單塊DRAM裸片的96GB容量DDR5模組用于大容量服務器解決方案;如今推出基于1β節(jié)點、24Gb單塊DRAM裸片的24GB容量HBM3產(chǎn)品，并計劃于2024年上半年推出基于1β節(jié)點、32Gb單塊DRAM裸片的128GB容量DDR5模組。這些產(chǎn)品的推出將為AI領域帶來更多的可能性和機遇。
