近日，科技界傳來一則關于人工智能可持續發展的新動向。據marktechpost報道，meta AI旗下的FAIR研究團隊與佐治亞理工學院攜手，共同推出了一個名為CATransformers的創新框架。這一框架將碳排放作為核心設計要素，旨在通過優化模型架構與硬件性能的結合，大幅度降低AI系統的總碳足跡。
隨著機器學習技術在推薦系統、自動駕駛等領域的廣泛應用，其帶來的環境壓力也日益凸顯。這些技術背后需要強大的計算資源支持，往往依賴于定制的硬件加速器來運行。然而，無論是訓練階段還是推理階段，高能耗都直接導致了運營碳排放的增加。
不僅如此，硬件從制造到報廢的全生命周期中，還會產生所謂的“隱含碳”，進一步加劇了生態負擔。隨著全球各行業對AI技術的加速采納，如何有效應對運營碳和隱含碳的雙重挑戰，成為了亟待解決的問題。
以往，減少碳排放的方法主要聚焦于提升運營效率，例如通過優化訓練和推理過程來降低能耗，或提高硬件利用率。然而，這些方法大多忽視了硬件設計和制造階段的碳排放，也未能充分考慮模型設計與硬件效率之間的相互作用。
而CATransformers框架的推出，則打破了這一局限。該框架通過引入多目標貝葉斯優化引擎，能夠同時評估模型架構與硬件加速器的性能，從而在延遲、能耗、精度和總碳足跡之間找到平衡點。這一創新性的設計思路，為可持續AI的發展開辟了新的道路。
特別是在邊緣推理設備方面，CATransformers框架展現出了顯著的優勢。通過剪枝大型CLIP模型來生成變體，并結合硬件估算工具對碳排放與性能進行分析，該框架成功推出了CarbonCLIP-S和CarbonCLIP-XS等模型。這些模型在保持高精度的同時，實現了碳排放的大幅降低和延遲的有效控制。
研究表明，單純追求延遲優化的設計策略，可能會導致隱含碳的增加。而CATransformers框架通過綜合考慮碳排放與延遲的優化策略，實現了總排放的顯著削減，同時保持了極低的延遲損失。
CATransformers框架的推出，標志著AI開發領域向可持續性邁出了重要一步。通過將環境指標嵌入到設計過程中，該框架為可持續機器學習系統的設計奠定了堅實基礎。這充分表明，如果在AI開發的初期階段就充分考慮硬件能力與碳影響，完全有可能實現性能與可持續性的雙贏局面。隨著AI規模的持續擴大，CATransformers框架無疑為行業提供了一個切實可行的減排路徑。
