在服務(wù)器領(lǐng)域獲得新的計(jì)算引擎需要很長(zhǎng)時(shí)間，而且每個(gè)人都在抱怨。客戶很不耐煩，因?yàn)樗麄兿胍乱淮酒瑤?lái)的更高性能和更高性價(jià)比。那些制造 CPU、GPU 和其他計(jì)算引擎的人也很不耐煩。他們想要壓垮競(jìng)爭(zhēng)對(duì)手并賺更多的錢。
在本周的 Hot Chips 2023 上，Arm Ltd 在宣布（再次）上市后展示了其“Demeter”V2 內(nèi)核，該公司還推出了“Genesis”N2 計(jì)算子系統(tǒng)，簡(jiǎn)稱 CSS 智能包。（我們將單獨(dú)深入探討 V2 核心。）Genesis 的這一努力有可能比過(guò)去更快地讓 Arm CPU 進(jìn)入該領(lǐng)域。
多年來(lái)，Arm 一直在朝著將成熟的 CPU 組裝在一起以供客戶修改并直接推向市場(chǎng)的目標(biāo)邁進(jìn)。早在 2000 年代末，當(dāng) Arm 接管智能手機(jī)時(shí)，服務(wù)器制造商正在考慮 Arm 架構(gòu)如何改進(jìn)基本上處于壟斷地位的 X86 架構(gòu)，服務(wù)器芯片設(shè)計(jì)人員從 Arm 架構(gòu)許可開始，并開始使用它。這是一種非常昂貴且耗時(shí)的創(chuàng)建服務(wù)器芯片的方法，盡管比從定制 ISA 開始要好，但由于大量的軟件移植工作，世界無(wú)法容忍定制 ISA。
在 Broadcom、高通、AMD 和三星等老牌半導(dǎo)體巨頭以及 Calxeda 和 Applied Micro 等初創(chuàng)公司多次嘗試 Arm 服務(wù)器芯片失敗后，以及 Cavium 憑借其 ThunderX 和 ThunderX2 CPU 取得了一些有限的成功后，Arm 決定將其推出。Neoverse 的工作于 2018 年 10 月推出，它不僅提供了服務(wù)器芯片核心的路線圖，還提供了參考架構(gòu)，用于將這些核心轉(zhuǎn)變?yōu)檫m當(dāng)?shù)?CPU，并混合了其他 Arm 知識(shí)產(chǎn)權(quán)（例如片上芯片）網(wǎng)狀互連和第三方內(nèi)存、PCI-Express 控制器和以太網(wǎng)控制器。這些 Neoverse 設(shè)計(jì)是針對(duì)臺(tái)積電的特定工藝節(jié)點(diǎn)量身定制的，這使得服務(wù)器芯片制造商更容易更快地采取行動(dòng)。
我們從來(lái)不確定 Neoverse 是否比架構(gòu)許可證更便宜或更貴。你可以用多種不同的方式來(lái)論證它。Neoverse 完成了更多的工作，但與 Arm 架構(gòu)許可證相比，自由度有限。也許更重要的是，正如我們所說(shuō)，如果 Arm 不能比開源的 RISC-V ISA 和設(shè)計(jì)更便宜，那么它可以更快。由于客戶不耐煩，Arm 無(wú)論如何都必須更快。
以下是2022 年 9 月公布的最新 Neoverse 路線圖：
最初，只有一個(gè)內(nèi)核系列 - N 系列 - 但 Arm 將其分為三個(gè)內(nèi)核系列和三個(gè)相應(yīng)的平臺(tái)，每個(gè)平臺(tái)都針對(duì)系統(tǒng)市場(chǎng)的不同部分。N 系列核心和平臺(tái)針對(duì)主流服務(wù)器工作負(fù)載，其中每瓦性能驅(qū)動(dòng)設(shè)計(jì)，而 V 系列具有更重的矢量處理，針對(duì)計(jì)算密集型工作負(fù)載，例如 AI 訓(xùn)練和推理以及 HPC 模擬和建模。E 系列旨在實(shí)現(xiàn)吞吐量計(jì)算，并且不僅針對(duì)更高的每瓦性能進(jìn)行了優(yōu)化，而且還以比 N 系列更低的熱封裝實(shí)現(xiàn)了最大吞吐量。現(xiàn)在不僅有三個(gè)系列的內(nèi)核和平臺(tái)，還有兩種方法：DIY 和 CSS。
所以現(xiàn)在新的 Neoverse 路線圖看起來(lái)像是硬塞進(jìn)去了 CSS 選項(xiàng)：
我們已經(jīng)為我們所知的每個(gè)核心和平臺(tái)添加了代號(hào)。
Neoverse 的努力讓芯片公司在設(shè)計(jì)上取得了優(yōu)勢(shì)，而且許多公司已經(jīng)做到了。富士通的 A64FX 芯片比當(dāng)前任何供應(yīng)商都早得多（比 Neoverse 的努力早了很多年），并且在許多方面都可以被視為“Kronos”V0 實(shí)現(xiàn)，因?yàn)樗l(fā)明了可擴(kuò)展矢量擴(kuò)展并將其帶入了-Intel AVX-512 的位向量極限。亞馬遜在其 Graviton1 芯片中使用了原始 Neoverse 堆棧中的“Maya”Cortex A72，在其 Graviton2 芯片中使用了“Ares”N1，在其Graviton3 芯片中使用了“Zeus”V1。
十多年前，Nvidia 最初使用其 Arm 架構(gòu)許可來(lái)創(chuàng)建“Denver”服務(wù)器處理器，但已改用“Grace”CPU 芯片的 V2 內(nèi)核現(xiàn)在即將上市。AmpereComputing 的 Altra 和 Altra Max Arm CPU 中使用 N1 內(nèi)核，但現(xiàn)在正在開發(fā)定制內(nèi)核。顯然，阿里巴巴已經(jīng)為其倚天 710 處理器定制了 Arm v9 核心，如果這是真的，那么 Nvidia 的 Grace 并沒(méi)有市場(chǎng)上第一個(gè) Arm v9 核心。印度政府正在其“Aum”A48Z 處理器中使用 V1 內(nèi)核。
還有其他的，但這些是最重要的。他們都花費(fèi)了大量資金來(lái)創(chuàng)建 Arm 服務(wù)器芯片。但這既關(guān)乎時(shí)間，也關(guān)乎金錢。眾所周知，愛因斯坦證明了時(shí)間就是瘋狂的金錢，也證明了能量就是瘋狂的物質(zhì)。
正如 Arm 產(chǎn)品管理高級(jí)總監(jiān) Jeff Defilippi 在 Hot Chips 上的 Arm 演講之前解釋的那樣，隨著摩爾定律的耗盡，對(duì)專用芯片的需求不斷增長(zhǎng)，芯片設(shè)計(jì)人員面臨的壓力也在不斷增加。正如上圖所示，隨著晶體管尺寸的縮小，設(shè)計(jì)芯片的成本也在上升，而在 7 納米節(jié)點(diǎn)之后，每個(gè)晶體管的制造成本也在上升，但該圖沒(méi)有顯示這一點(diǎn)。
Arm 的 CSS 知識(shí)產(chǎn)權(quán)包旨在加快設(shè)計(jì)速度，從時(shí)間就是金錢的意義上來(lái)說(shuō)，至少可以將金錢轉(zhuǎn)化為節(jié)省的時(shí)間，正如愛因斯坦所證明的那樣，這既是節(jié)省的金錢，也是通過(guò)早期銷售獲得的金錢。（我們假設(shè) CSS 的成本比常規(guī) IP 許可更高，因?yàn)樗鄡?nèi)容，但風(fēng)險(xiǎn)要低得多，而且成本和風(fēng)險(xiǎn)的乘積（不是總和，而是乘積，因?yàn)檫@些是乘法效應(yīng)而不是累積效應(yīng)）因此較低.)
從概念上講，CSS 包如下所示：
以下是它與 SoC 許可、IP 許可和架構(gòu)許可的比較：
“本質(zhì)上，該產(chǎn)品是 Arm 拼接在一起的多核設(shè)計(jì)，”Defilippi 解釋道。“這就是互連、CPU、虛擬化 IP 要求 - 我們將它們縫合在一起，進(jìn)行驗(yàn)證，并將其作為生產(chǎn)就緒的 RTL 可交付成果交付給我們的客戶。除了 RTL 之外，我們還提供與之相關(guān)的額外好處：我們提供實(shí)現(xiàn)包、平面圖、實(shí)現(xiàn)腳本以及達(dá)到該性能所需的物理 IP 庫(kù)以及設(shè)計(jì)所需的功耗范圍。領(lǐng)先的技術(shù)。我們提供完整的軟件參考堆棧。因此，這包括從固件、電源管理、系統(tǒng)管理、系統(tǒng)所需的運(yùn)行時(shí)安全性等一切內(nèi)容。我們提供參考堆棧，以確保軟件開發(fā)從第一天開始，并且我們的客戶有一個(gè)良好的起點(diǎn)。最后但并非最不重要的一點(diǎn)是，我們不僅包括工藝節(jié)點(diǎn)，還包括我們的領(lǐng)先技術(shù)。每年都會(huì)有一些新的、令人興奮的事情出現(xiàn)。當(dāng)然，現(xiàn)在的一個(gè)例子就是 CXL 內(nèi)存擴(kuò)展池。”
現(xiàn)在想象一下，特別是如果您位于中國(guó)、印度、非洲，甚至位于美國(guó)或歐洲的具有成本意識(shí)的超大規(guī)模企業(yè)、云構(gòu)建商或 HPC 中心，并且您沒(méi)有大量熟悉高級(jí)服務(wù)器 CPU 的熟練工程師設(shè)計(jì)或正確設(shè)計(jì)和測(cè)試它們的工具，以便快速推出下一代芯片。那么 CSS 方法不僅可以大大加快速度，而且可以從一開始就制造出芯片。
但時(shí)間很重要，以下是 Arm 如何計(jì)算通過(guò) CSS 包與使用普通 IP 許可證相比節(jié)省的時(shí)間：
節(jié)省 80 個(gè)工程師一年的時(shí)間是相當(dāng)可觀的，特別是在定制自由度仍然存在的情況下。
問(wèn)題是：與芯片制造商所做的大量工作相比，CSS 設(shè)計(jì)的價(jià)值有多大？將芯片從概念變?yōu)榉?wù)器、網(wǎng)絡(luò)設(shè)備或存儲(chǔ)陣列需要多少成本？這比使用 Intel 或 AMD 的 X86 服務(wù)器或 AmpereComputing 的 Arm 芯片便宜多少？這些麻煩值得嗎？
嗯，隨著 AWS 和阿里巴巴制造自己的 Arm 芯片，而且有傳言稱谷歌也將這樣做，微軟、騰訊和百度（以及阿里巴巴、谷歌和甲骨文）也使用 AmpereComputing 的 Altra Arm 芯片，看來(lái)這是值得的。Arm CPU 為他們節(jié)省了資金，并且在他們的服務(wù)器群中所占的比例越來(lái)越大。而且，他們通過(guò)自己的努力擁有更直接的控制權(quán)，并通過(guò)與安培計(jì)算的緊密合作獲得更間接的控制權(quán)。
當(dāng)然，超大規(guī)模廠商和云構(gòu)建商仍會(huì)購(gòu)買大量英特爾和 AMD CPU。但正如我們多次說(shuō)過(guò)的那樣，這將是為了支持舊版 Windows Server，有時(shí)甚至是 Linux 應(yīng)用程序，他們會(huì)故意對(duì)基于它們的實(shí)例收取額外費(fèi)用，英特爾和 AMD 也會(huì)對(duì)底層芯片收取額外費(fèi)用。沒(méi)有人在我們看到的分層上串通一氣，但英特爾和 AMD 沒(méi)有動(dòng)力與 Graviton 和其他公司競(jìng)爭(zhēng)。他們只是將 15%、20%、25% 的超大規(guī)模和云機(jī)群讓給 Arm，他們對(duì)無(wú)需打價(jià)格戰(zhàn)就能獲得 85%、80%、75% 的更大機(jī)群感到滿意。
“Perseus”N2 核心網(wǎng)格的 CSS 實(shí)現(xiàn)可從 24 個(gè)核心擴(kuò)展到 64 個(gè)核心，并且可以使用 UCI-Express（而非 CCIX）或?qū)Ｓ谢ミB將其中四個(gè)核心組合在一個(gè)封裝中，以擴(kuò)展到插槽中的 256 個(gè)核心。根據(jù)客戶的需求提供小芯片。
考慮到許多現(xiàn)代處理器將執(zhí)行預(yù)期的 HPC 和 AI 矢量數(shù)學(xué)，遺憾的是 V2 設(shè)計(jì)沒(méi)有 CSS。也許這會(huì)發(fā)生——我們強(qiáng)烈鼓勵(lì)這樣做，當(dāng)然也鼓勵(lì)幾年后的未來(lái) V3 設(shè)計(jì)。目前，Arm 僅在 N2 設(shè)計(jì)中開始 CSS 工作，就在路線圖的中間。
現(xiàn)在，請(qǐng)做好準(zhǔn)備，欣賞 Genesis CSS N2 封裝上的一些精美原理圖和框圖，這些原理圖和框圖由 Arm 院士兼芯片 IP 設(shè)計(jì)師的首席系統(tǒng)架構(gòu)師 Anitha Kona 提供。
這是臺(tái)積電 5 納米 Genesis 封裝中的 64 核基礎(chǔ)模塊：
框圖如下所示：
CSS N2 軟件包符合 SystemReady 標(biāo)準(zhǔn)，符合 Arm 基礎(chǔ)系統(tǒng)架構(gòu) 1.0、Arm 服務(wù)器基礎(chǔ)系統(tǒng)架構(gòu) 6.1 和 Arm 服務(wù)器基礎(chǔ)啟動(dòng)要求 1.2。
N2 核心是 Arm 的第一個(gè) Armv9 實(shí)現(xiàn)，但 V2 核心不可能落后于 Grace 目前的水平，據(jù)我們所知，Nvidia 從 Arm 獲得了 V2 核心。Nvidia 和 Arm 有可能在 V2 核心設(shè)計(jì)上進(jìn)行合作，就像富士通和 Arm 在我們所說(shuō)的 V0 核心上所做的那樣。N2 核心的處理器模塊如下所示：
兩個(gè) SVE2 128 位向量還不錯(cuò)，但 V2 有四個(gè)。這就是需要 CSS V2 產(chǎn)品的地方，希望很快不會(huì)出現(xiàn)代號(hào)為“Exodus”的情況。就像，呃，現(xiàn)在。無(wú)論如何，這是系統(tǒng)控制和管理的深入內(nèi)容：
系統(tǒng)內(nèi)存管理單元和中斷控制器的放大是：
核心塊使用 CMN-700 網(wǎng)格相互綁定，該網(wǎng)格已經(jīng)存在了幾年，并針對(duì) Armv9 設(shè)計(jì)進(jìn)行了調(diào)整，運(yùn)行頻率為 2 GHz：
Genesis 軟件包包括 N2 CPU 的平面圖，可以從 24 核擴(kuò)展到 64 核，64 核平面圖如下所示：
CSS N2 軟件包還包括一個(gè)加速器連接塊，允許卡入 PCI-Express 以及 CXL 控制器：
互連允許四個(gè) 64 核 N2 塊中的兩個(gè)相互鏈接。一對(duì)芯片利用芯片到芯片 PHY 實(shí)現(xiàn)直接對(duì)稱多處理 (SMP) 鏈路，CXL PHY 用于交叉耦合其中一對(duì)，以創(chuàng)建具有 256 個(gè)內(nèi)核的四路封裝，例如這：
以下是這些 SMP 連接如何工作的進(jìn)一步放大：
PCI-Express/CXL 塊顯然允許 CXL Type 3 內(nèi)存擴(kuò)展，超出嵌入在網(wǎng)格互連上的任何內(nèi)存控制器。（如果內(nèi)存控制器和以太網(wǎng)控制器是 Genesis 包的一部分，那將會(huì)非常有幫助。）
最后，這是 Generis 軟件包中的軟件：
將所有這些加起來(lái)，Kona 表示 Genesis IP 包被許可方可以獲取 CSS N2 堆棧，在內(nèi)存、I/O、加速器和物理拓?fù)渖线M(jìn)行差異化，并在令人驚嘆的 13 個(gè)月內(nèi)從啟動(dòng)到工作芯片，并節(jié)省80個(gè)工程師的開發(fā)努力。這些是來(lái)自兩個(gè)不同的 Arm 合作伙伴的兩項(xiàng)統(tǒng)計(jì)數(shù)據(jù)，他們是 Genesis 的早期采用者，因此在將這些數(shù)據(jù)位混合到一個(gè)承諾中時(shí)要小心。但顯然，Arm CPU 芯片設(shè)計(jì)既可以節(jié)省時(shí)間，又可以節(jié)省金錢——這也是時(shí)間。
我們期待看到與 CSS N2 包相當(dāng)?shù)?V 系列和 E 系列。
【來(lái)源：半導(dǎo)體行業(yè)觀察】
