安謀科技近日宣布，其新一代“周易”NPU處理器已成功在端側(cè)部署并運(yùn)行DeepSeek-R1系列模型，不僅性能表現(xiàn)出色，而且成本效益顯著。
這款“周易”NPU專為AI大模型設(shè)計，架構(gòu)上進(jìn)行了深度優(yōu)化。據(jù)悉，其Beta測試版本已在2024年末向部分早期用戶開放，預(yù)計今年上半年將正式面世。
DeepSeek-R1系列中的1.5B和7B蒸餾版本推出后，“周易”NPU迅速在Emulation平臺上完成了部署與優(yōu)化，并在FPGA平臺上成功演示了端到端應(yīng)用。測試結(jié)果顯示，在標(biāo)準(zhǔn)測試環(huán)境下，“周易”NPU在首字計算階段的算力利用率超過40%，解碼階段的有效帶寬利用率更是高達(dá)80%以上。
該NPU的帶寬利用率展現(xiàn)出高線性特性，能夠靈活適應(yīng)從16GB/s到256GB/s的系統(tǒng)帶寬需求。在7B版本、上下文長度為1024的場景下，“周易”NPU的最高處理速度可達(dá)每秒40 tokens，并支持動態(tài)長度的模型推理輸入。
安謀科技的軟件棧對大模型的支持和優(yōu)化也達(dá)到了成熟水平，通過動態(tài)推理優(yōu)化和硬件算力潛力的挖掘，顯著提升了推理速度和吞吐量。目前，該軟件棧已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多種主流大模型，并提供了與Hugging Face模型庫的對接工具鏈，方便用戶直接部署主流模型。
在硬件層面，“周易”NPU采用先進(jìn)的7nm工藝制造，單Cluster算力最高可達(dá)80 TOPS，能夠輕松應(yīng)對超過16K上下文長度的大模型部署需求。同時，其對外帶寬提升至256GB/s，有效解決了大模型計算的帶寬瓶頸問題。
“周易”NPU還支持FP16數(shù)據(jù)精度計算，完整支持INT4軟硬量化加速，并具備多核算力擴(kuò)展能力，滿足端側(cè)模型的低首字延遲需求。它還擁有強(qiáng)大的多任務(wù)并行處理能力，通過細(xì)粒度的任務(wù)調(diào)度和優(yōu)先級資源分配，實現(xiàn)了多任務(wù)靈活切換，確保了傳統(tǒng)語音、視覺業(yè)務(wù)與大模型應(yīng)用的高效協(xié)同。
