近期，安謀科技宣布其最新研發(fā)的“周易”NPU處理器硬件平臺已成功運行DeepSeek-R1系列模型，為用戶帶來了前所未有的高效與便捷的AI應(yīng)用體驗。這款NPU處理器憑借卓越的性能和成本優(yōu)勢，正引領(lǐng)著AI技術(shù)的新潮流。
據(jù)悉，“周易”NPU處理器采用了針對大模型特性專門優(yōu)化的架構(gòu)設(shè)計，早在2024年底，其beta版本就已向早期用戶開放評估測試，并收獲了廣泛的好評與積極反饋。預(yù)計今年上半年，這款備受矚目的NPU產(chǎn)品將正式面世，屆時將讓更多用戶享受到突破性的端側(cè)算力。
“周易”NPU處理器與DeepSeek-R1模型的結(jié)合堪稱完美。在DeepSeek-R1的1.5B和7B蒸餾版本推出后不久，“周易”NPU處理器便在Emulation平臺上迅速完成了部署與優(yōu)化，并在FPGA平臺上成功實現(xiàn)了端到端的應(yīng)用演示。這一成就彰顯了安謀科技在AI技術(shù)領(lǐng)域的深厚實力。
經(jīng)過嚴(yán)格的測試驗證，“周易”NPU處理器在運行DeepSeek-R1模型時表現(xiàn)尤為出色。在標(biāo)準(zhǔn)測試環(huán)境中，其算力利用率和帶寬利用率均達(dá)到了極高水平。特別是在7B版本、1024上下文長度的場景下，該處理器在保障模型精度的同時，最高處理速度可達(dá)40 tokens/s，并支持動態(tài)長度的模型推理輸入。這一卓越表現(xiàn)使得“周易”NPU處理器在面對復(fù)雜AI任務(wù)時展現(xiàn)出顯著的技術(shù)優(yōu)勢。
“周易”NPU處理器之所以能夠高效適配和調(diào)優(yōu)DeepSeek等最新大模型，得益于其軟件棧對大模型的成熟支持。該軟件棧提供了高效的量化編譯工具，能夠在壓縮模型體積的同時保持高性能推理能力。軟件棧還針對大模型進(jìn)行了深度優(yōu)化，包括動態(tài)推理優(yōu)化和硬件算力潛力的挖掘，從而顯著提升了推理速度和吞吐量。
在硬件層面，“周易”NPU處理器同樣表現(xiàn)出色。它突破了傳統(tǒng)設(shè)計限制，將對外帶寬提高至256GB/s，有效解決了大模型計算的帶寬瓶頸問題。同時，該處理器全面支持FP16計算，并提供完整的int4軟硬量化加速方案，確保模型能夠高效穩(wěn)定運行。針對端側(cè)模型的低首字延遲需求，“周易”NPU處理器通過軟硬協(xié)同優(yōu)化，實現(xiàn)了多核算力的高效擴展。
“周易”NPU處理器的強大性能不僅體現(xiàn)在單個任務(wù)上，其多任務(wù)并行處理能力同樣令人矚目。通過細(xì)粒度的任務(wù)調(diào)度和優(yōu)先級資源分配，該處理器能夠?qū)崿F(xiàn)多任務(wù)靈活切換，確保傳統(tǒng)語音、視覺業(yè)務(wù)與大模型應(yīng)用能夠高效協(xié)同工作。這一特性為用戶帶來了更加流暢的使用體驗。
目前，安謀科技正在積極拓展DeepSeek系列模型在端側(cè)加速卡的應(yīng)用場景，旨在通過提升模型推理性能，加速端側(cè)AI應(yīng)用的商業(yè)化落地進(jìn)程。憑借雄厚的技術(shù)積累、生態(tài)系統(tǒng)優(yōu)勢以及前瞻性布局，安謀科技將持續(xù)推動AI大模型技術(shù)在多終端領(lǐng)域的深度應(yīng)用與創(chuàng)新，為構(gòu)建與完善端側(cè)AI生態(tài)貢獻(xiàn)力量。
