隨著大型模型如DeepSeek的廣泛應用，如何高效利用這些模型成為了用戶關注的焦點。隨著未來更多模型和AI應用的落地，私有化部署的大模型需要實現高效且經濟的運行，同時基于模型的AI應用也需要更加便于維護和管理。在此背景下，可演進的私有云InCloudOS 8.0推出了全新的云上AI解決方案，旨在幫助用戶構建高效的知識庫，實現多芯多模型的統一管理，并簡化AI應用的運維過程，攜手用戶共同規劃AI應用的未來。
InCloudOS 8.0的云上AI功能融合了多項先進技術，如自適應推理框架和內存池化，使得模型能夠按需高效使用，大大降低了用戶的初期投入成本。InCloudOS 8.0還定義了AI應用智能體的關鍵要素，使用戶能夠像管理虛擬機一樣輕松地管理AI應用，實現了多模型和眾多AI應用的統一融合管理。
在推理資源管理方面，InCloudOS 8.0提供了高效且可控的解決方案。它支持根據模型的不同層次定義相應的算力資源，并采用自適應最優推理框架，使推理過程速度提升十倍。同時，InCloudOS 8.0還創新性地支持NVMe內存池化技術，使得大參數模型即使在顯存和內存容量有限的情況下也能高效運行。
據測試，本地NVMe的內存性能可達到標準內存的95%，這進一步提升了模型的運行效率。在元腦高性能PCIe互聯算力與新一代處理器的支持下，InCloudOS 8.0的推理框架能夠高效地在節點間調度任務并實現CPU推理性能的數十倍提升。
云智能體作為AI應用的最佳承載方式，使得用戶能夠像管理虛擬機一樣輕松地管理AI應用。InCloudOS 8.0定義了云智能體的核心要素，包括虛擬機、裸機和PaaS服務承載的應用實例，模型庫、知識庫和推理框架承載的AI大腦，以及高效SDN網絡組織的互聯。這些要素共同構成了云智能體的管理基礎，創建智能體的過程也是構建管理要素的過程。
InCloudOS 8.0通過知識庫的分域分級，支持用戶靈活地定義智能體所使用的模型，并配置應用承載的虛擬機或PaaS服務的規格。這使得用戶能夠輕松地管理數百個AI應用，就像管理虛擬機一樣簡單。
lnCloudOS 智能體管理界面
在AI智能化轉型的過程中，傳統應用與智能體將長期共存。浪潮云海堅持可演進的私有云理念，兼顧AI應用與傳統應用的運維，并致力于充分利用和高效管理現有基礎設施。InCloudOS 8.0的云上AI功能支持3節點部署，在AI智能化轉型的過程中，浪潮云海的可演進私有云要求新舊應用、云智調度和新老設備實現統一，認為這是最佳的運維實踐。
