F5公司近期宣布，其針對Kubernetes環境的BIG-IP Next解決方案迎來重要升級，這一創新成果與NVIDIA的BlueField-3 DPU及DOCA軟件框架實現了深度整合，并在歐洲企業Sesterce的實際應用中得到了驗證。此次升級標志著F5在應用交付與安全領域邁出了堅實的一步。
作為F5應用交付與安全平臺的延伸，BIG-IP Next for Kubernetes現能夠直接在NVIDIA BlueField-3 DPU上運行，為大規模的AI基礎設施提供了強大的流量管理和安全防護能力。這一特性顯著提升了AI應用的運行效率、控制精度及整體性能，為AI技術的落地應用注入了新的活力。
該聯合解決方案還引入了智能化的路由機制，使得企業能夠根據AI任務的復雜度，靈活地將任務分配給不同級別的語言模型。簡單的生成式AI任務可以被路由到成本更低、更輕量級的LLM模型上，而復雜的查詢則由性能更強大的高階模型處理。這種定制化的路由策略不僅提升了輸出質量，還極大地改善了用戶體驗。F5的流量管理技術確保了查詢請求能夠精準地分發到最合適的模型節點，從而降低了延遲，加快了首個詞元的生成速度。
NVIDIA早前推出的Dynamo框架，為生成式AI與推理模型在大規模分布式環境中的部署提供了強有力的支持。它通過統一調度、流量路由和內存管理等核心功能，簡化了分布式AI推理的復雜性，確保了系統在動態工作負載下的穩定運行。F5與NVIDIA的聯合解決方案的一大亮點，是將部分計算任務從CPU卸載到BlueField DPU上，從而大幅提升了整體效率。利用F5的技術，Dynamo KV Cache Manager能夠根據容量智能地路由請求，并通過鍵值緩存機制，顯著加快了生成式AI應用的響應速度。這一機制通過復用歷史計算數據，避免了重復計算，有效降低了資源消耗。
在基礎架構層面，企業通過利用KV緩存的存儲與復用機制，能夠以更低的成本實現性能優化，相比直接占用昂貴的GPU內存資源，這一方案無疑更具經濟性。在MCP服務器前端部署F5與NVIDIA的聯合解決方案，使得F5能夠作為反向代理，增強了MCP解決方案及其所支持的LLM模型的安全性能。F5的iRules提供的全數據可編程能力，使得系統能夠快速、靈活地適應AI協議的快速變化，并有效抵御新興的網絡安全威脅。
