硅光照亮數據中心網絡可持續發展之路-魔扣目錄

摘要：

近年來低碳節能的話題被越來越多的人關注，國家的雙碳政策及部分省市的限電行動，都表示對碳排放的高度重視。本文聚焦數據中心網絡迭代過程中，數據中心交換機的關鍵組件遇到了功耗難題，從多種交換機硅光技術出發，結合銳捷網絡的實踐，我們嘗試提出一條數據中心網絡可持續發展的技術路線建議。

正文：

隨著互聯網技術的發展，數據中心逐步轉型為“算力中心”。人工智能、機器學習等高算力應用發展迅猛，無人駕駛汽車、大數據推流、興趣電商等多樣化業務層出不窮。而作為基礎架構支撐人工智能、機器學習這類應用的GPU（Graphics Processing Unit，圖形處理器）計算集群，相比于CPU（central processing unit，中央處理器）通用計算集群對網絡傳輸提出了更高要求，這就是我們常說的“業務驅動網絡迭代”的演進模式。在該模式下，網絡迭代在GPU高性能場景先行，滿足塔尖業務需求；再逐步賦能到通用場景，充分發揮技術價值紅利。

圖1：數據中心網絡架構示意圖

除了來自業務的直接壓力，數據中心其他設施為了滿足功能需求而進行的升級，也在無形中“驅趕”著網絡設備的迭代。如搭載下一代H100的GPU服務器，對網絡的接入帶寬已上升到400G的要求；下一代CX7的智能網卡，也要求網絡接入交換機支持PAM4-112G SerDes（串行/解穿串行器）。

在業務和硬件革新的雙重驅動下，數據中心網絡架構升級勢在必行。而要想順利完成迭代，交換芯片、SerDes和光模塊三個層面的技術需要協同演進，缺一不可。不難想象，這條技術演進之路將會阻礙重重，其中功耗問題尤其難解。

圖2:驅動數據中心網絡迭代升級的因素及功耗挑戰

先從決定交換機性能的交換機芯片來看，隨著交換機芯片的升級，單Bit（比特）的功耗隨之降低，但因為交換帶寬提升，交換機芯片總功耗在數據中心的占比逐年增長。除交換芯片外，SerDes和光模塊也是功耗增加的主要元素。據數據統計， 2022年單交換機的總體功耗是2010年單交換機功耗的22倍，其中交換芯片SerDes功耗增長25倍，光模塊的功耗增長26倍。

聚焦光模塊的演進來看，2007年萬兆的光模塊功耗小于1W，但隨著40G、100G到現在的400G，800G甚至未來1.6T光模塊，功耗提升的比例越來越大，甚至快要接近30W，如果是滿載1.6T光模塊的交換機，功耗將不可想象。

因此，傳統可插拔光模塊的技術演進難以支撐數據中心的可持續發展，主要體現在以下四個方面：

圖4：傳統可插拔光模塊技術發展的瓶頸

首先是SI（電傳輸）的實現遇到了材料的瓶頸，基于PCB（Printed Circuit Board印制電路板）傳輸高速電信號，在應用傳統可插拔光模塊時，信號傳輸距離長，傳輸損失大，對SI實現挑戰大，更低損耗的可量產PCB材料也面臨諸多技術困難。其次是功耗問題，滿載1.6T模塊的設備，整機功耗巨大，對散熱設計包括機柜供電的挑戰巨大。隨功耗的提升，整機的設備成本包括風火水電的周邊配套實施成本也相應增加，會增大網絡建設初期的投入。最后是產品設計的問題，使用傳統可插拔光模塊的系統，支持128個端口需要非常復雜的系統設計，還需要解決諸如高功率光模塊散熱等技術問題，推高了系統成本。

綜上，從交換芯片、SerDes及光模塊技術在數據中心網絡架構迭代中遇到的功耗問題出發，銳捷網絡以建設下一代綠色節能可持續發展的數據中心為目標，基于客戶業務場景和產品實踐，給出了數據中心網絡可持續發展的創新解法及技術路線建議，具體分三層：

底層是架構升級，基于下一代芯片、SerDes及光模塊技術實現網絡架構升級迭代去滿足人工智能、機器學習等應用對帶寬持續增大的需求。在架構升級基礎上，從網絡設備出發，嘗試解決當前SerDes及光模塊的功耗難題。但問題并不是只在這一代才發生，未來的每一代網絡架構都會面臨相同的問題，因此需要面向未來，探索出一條數據中心網絡低成本、低功耗的可持續發展路線。

圖5：下一代綠色節能可持續發展數據中心的建設目標

具體這條可持續發展的技術路線，可以從交換機硅光技術發展的兩個階段實現。第一階段是NPO（Near packaged optics近封裝光學）技術階段，可以在CPO（Co-packaged optics，共封裝光學）生態完備之前，在最短時間內享受到低成本、低功耗的收益。第二階段是CPO技術階段，這是交換機硅光技術的最終形態，可以極限降低網絡的成本和功耗。

圖6：數據中心網絡可持續發展技術路線建議

光引擎承載了交換網絡的光電轉換功能，最常見的是Pluggable（可插拔）形態，隨著技術的演進，又產生了新的產品形態。CPO形態是將交換芯片和光引擎共同裝配在同一個Socketed（插槽）上，形成芯片和模組的共封裝。NPO形態則是光引擎與交換芯片解耦，裝配在同一塊系統主版上。雖然兩者都有光電模組，但封裝的位置是不同的，對應的走線距離也會有些差異，相應功耗也不同。

圖7：硅光技術形態概覽

CPO架構是基于硅光技術實現最高集成度的形態，預期也能獲得最優的成本及功耗收益。CPO架構降功耗的核心原理是通過共封裝形式大幅縮短交換芯片和光引擎間的布線距離（走線可控制在50～70mm左右），進而降低SerDes的驅動功耗成本，同時可實現更高密度的高速端口，提升整機的帶寬密度，實現大幅降低功耗。長遠來看，因為芯片和硅光組件的共封裝的更高集成及硅光技術生態的不完備，從商業化角度上來看開放性是長期的目標。

圖8：CPO架構示意圖

圖9：CPO降功耗原理圖

交換機的另一種實現架構是NPO，基于硅光技術的高集成度和開放的生態，可以獲得成本及功耗的最快收益。NPO的技術原理是通過開放的光引擎接口，與交換芯片共同組裝在同一塊主板，以標準化架構的方式實現了光引擎和芯片的解耦，可以靈活對交換芯片和NPO模塊進行選型。NPO在收益方面雖然不如CPO架構對功耗和成本降低的明顯，但在開放性層面是有所提升的。隨著NPO產業鏈的日益成熟，預計到24年會有商用的CPO模組。銳捷網絡作為OIF（光互聯網OIF論壇）成員之一，也在NPO交換機方向持續進行探索與實踐。

圖10：NPO架構示意圖

2021年11月，銳捷網絡應邀參加全球OCP峰會。在峰會現場，銳捷網絡正式發布了25.6T硅光NPO冷板式液冷交換機，滿足數據中心和運營商網絡的高可靠性的要求。

圖11：銳捷網絡25.6T硅光NPO冷板式液冷交換機

銳捷網絡25.6T硅光NPO冷板式液冷交換機，基于最新的112G Serdes交換芯片，采用64個連接器，在1RU的空間內，實現了64口400G的超高密度端口設計；由16個1.6T（4×400G DR4）的NPO模塊組成，支持8個ELS/RLS（外置激光源模塊），PCB上ASIC到光模塊布線距離縮短60%-70%，高速信號質量大幅改善。整機采用x86 CPU，3+1的風扇模塊，1+1 電源模塊冗余，核心區域采用冷板散熱，使用非導電冷卻液，徹底杜絕漏液短路風險，能很好為數據中心網絡可持續發展提供支撐。

圖12：銳捷網絡網絡25.6T硅光NPO冷板式液冷交換機

2022年，銳捷網絡在OFC2022最新發布的51.2T硅光NPO冷板式液冷交換機，是基于51.2T交換機芯片的800G NPO結構原型機。同樣是1RU的高度，51.2T 交換機將NPO模組從1.6T升級到了3.2T，前面板支持64個800G連接器，每個連接器還可以分成2個400G端口，實現向前兼容。外置光源模塊增加到了16個，由于采用了Blind-mate設計，避免了高功率激光對人眼的傷害，顯著改善了運維人員的安全。散熱方面，交換機芯片和NPO模塊同樣支持冷板冷卻方式，實現高效散熱，解決熱流密度高度集中的難題，對比同性能、傳統可插拔光模塊+風冷方案的交換機，功耗大幅降低。