隨著DeepSeek的興起，本地化部署與推理市場迎來了前所未有的熱潮，這一趨勢不僅顯著降低了算力成本，更使得眾多中小企業能夠享受到AI大模型所帶來的效率飛躍。然而，盡管前景廣闊，當前的硬件設備，特別是作為大模型運行核心的服務器，其高昂的價格仍然是中小企業面臨的一大挑戰。一臺高性能的GPU服務器，價格往往高達數十萬乃至上百萬，這對于資源有限的中小企業而言，無疑是一筆沉重的負擔。
在各行各業加速擁抱大模型的當下，企業對大模型的推理需求遠超過了訓練過程。據IDC數據顯示，到2027年，智能算力的規模將比五年前增長1.7倍，其中用于推理的工作負載占比高達72.6%。這一趨勢預示著AI算力需求將面臨巨大的供應缺口，未來的算力必須具備智能能力。
DeepSeek的火爆也帶動了一體機市場的繁榮，目前市場上已有超過60家企業推出了結合DeepSeek的一體機產品。這些產品雖然涵蓋了從硬件制造商到云服務提供商，再到新興科技企業等多個領域，但價格普遍不菲，從幾十萬到數百萬不等。浪潮信息副總經理趙帥指出，即便是支持DeepSeek-R1蒸餾版本的一體機，其售價也高達數十萬，而支持滿血版DeepSeek的一體機更是價格驚人，這對于中小企業、教育機構以及科研用戶而言，無疑是一筆巨大的投入。
趙帥在與媒體分享時進一步揭示了中小企業和科研院校在使用大模型時的痛點。他表示，盡管企業渴望利用DeepSeek等大模型創造價值，但私有數據上云的顧慮讓他們對云服務望而卻步。高昂的初始投資費用也讓許多企業對大模型的應用持觀望態度，尤其是在降本增效成為各行業共識的今天，管理層在選擇技術和設備時會更加審慎地考慮投資回報率。
對于中小企業而言，在應用大模型的場景中，由于人員和業務規模相對較小，滿血版服務器提供的高并發能力往往顯得過于奢侈。趙帥指出，對于規模在100至200人的企業來說，小并發量下人均20token/s的流暢體驗已經足夠。因此，他們更需要一種性價比更高、更易部署和管理的硬件設備。
中小企業在使用服務器運行大模型的同時，還希望將OA、郵件等其他業務也納入服務器的管理范圍。這些現實需求對硬件廠商提出了更高的挑戰。為了滿足這些需求，浪潮信息等廠商開始探索CPU推理服務器的應用。
在企業部署大模型的過程中，模型參數規模與其應用場景密切相關。根據浪潮信息與IDC聯合發布的報告，92%的企業使用的生成式人工智能模型平均參數量小于50B。趙帥指出，32B級別的模型在理解能力和知識儲備上具有顯著優勢，能夠平衡性能和部署成本，是大多數企業應用場景中的上佳選擇。
特別是在某些特定場景下，CPU推理服務器的成本優勢相較于GPU服務器更為明顯。例如，當大模型推理所需的內存超過單塊GPU的顯存容量時，采用CPU部署的方案可以顯著降低成本。
浪潮信息近期推出的元腦CPU推理服務器正是基于這一理念而設計的。該服務器采用了4顆英特爾至強6448H處理器和多通道內存系統設計，支持高達16TB的內存容量和1.2TB/s的內存帶寬。結合AMX加速技術，該服務器能夠高效運行DeepSeek-R1（32B）和QwQ-32B等推理模型，提供流暢穩定的用戶體驗。
測試數據顯示，在使用DeepSeek-R1 32B進行問答場景下，該服務器的解碼性能超過20tokens/s，在20個并發用戶下，總token數達到255.2tokens/s。而在使用QwQ-32B進行模型推理時，同樣支持20個并發用戶數，總token數達到224.3Tokens/s。
趙帥表示，目前CPU推理服務器的詢單客戶眾多，包括金融、教育、初創企業以及高校科研團隊等都對這一產品表現出了濃厚的興趣。然而，要想實現CPU的本地推理過程，除了硬件性能外，軟件的優化與適配同樣至關重要。
浪潮信息通過張量并行計算和AWQ量化的方式，減少了量化的誤差，并采用了TP并行的方式提升了整機的內存帶寬和模型解碼速度。元腦CPU推理服務器還基于通用處理器進行軟硬協同優化，為企業32B模型推理與云計算、數據庫等通用關鍵業務場景融合提供了更高效、更靈活、更穩定的AI通用算力支撐。
值得注意的是，CPU在運行MoE架構的模型方面也具有優勢。趙帥指出，CPU可以通過一個路由器選擇某個專家模型，對于數據選擇來說更加友好。用戶對CPU推理服務器的易用性也提出了更高的要求，這一需求不僅體現在CPU推理服務器上，也體現在本地化部署的一體機和GPU服務器上。
為了提升硬件的易用性，軟硬件服務商紛紛推出了平臺化的軟件產品與硬件的結合方案。浪潮信息推出了EPAI平臺，通過預裝AI操作系統和AIStation管理平臺，用戶可以自由選擇不同大小的模型，并根據自己的應用場景進行簡單的配置和點選。
軟硬協同是端側大模型能否落地的關鍵。對于中小企業而言，純CPU的服務器在AI推理方面具有較高的推廣前景。然而，對于大規模高并發的用戶需求，還是需要使用高性能的AI推理服務器。趙帥坦言，如果用戶規模較小，利用CPU推理服務器也可以運行DeepSeek-R1 671B的模型，但在小并發下單用戶性能有限。因此，對于規模較大的企業而言，建設自己的小型智算中心并采用更高性能的推理服務器是支撐海量并發下推理需求的必要選擇。
據了解，今年春節期間，浪潮信息收到了大量客戶訂單咨詢，希望快速供貨以支撐大并發需求的服務器。趙帥表示，建設自己的小型智算中心時，1至20臺服務器的規模是企業部署私有化算力的較佳選擇，這一規模可以滿足上萬人規模大型公司全員流暢的應用體驗。
雖然CPU推理服務器在企業本地有不少應用場景，并能幫助中小企業快速落地小參數的模型產品，但由于硬件性能的限制，對于大型企業以及追求高并發、高性能模型的企業而言，GPU服務器仍然是更好的選擇。因此，企業在選擇產品時需要根據實際業務需求來選擇，以達到最高的性價比。
