在中國(guó)信息通信研究院（中國(guó)信通院）近期組織的“可信AI大模型一體機(jī)評(píng)估體系1.0”評(píng)估活動(dòng)中，一家黃浦區(qū)重點(diǎn)扶持的創(chuàng)新企業(yè)——問(wèn)道以芯，憑借其自主研發(fā)的“異構(gòu)存力推理機(jī)”，成功通過(guò)了推理性能專項(xiàng)評(píng)估，躋身國(guó)內(nèi)首批完成該體系評(píng)估的企業(yè)行列。
問(wèn)道以芯，這家成立于2021年的新興企業(yè)，致力于構(gòu)建國(guó)產(chǎn)自主的AI及高性能計(jì)算開(kāi)放集群，專注于研發(fā)解決核心技術(shù)難題的產(chǎn)品。2024年，問(wèn)道以芯在第四屆“海聚英才”全球創(chuàng)新創(chuàng)業(yè)大賽中榮獲銀聚獎(jiǎng)，并隨后落戶黃浦區(qū)。今年3月，該公司攜手黃浦科創(chuàng)集團(tuán)和江蘇未來(lái)網(wǎng)絡(luò)集團(tuán)，共同發(fā)布了基于全自主知識(shí)產(chǎn)權(quán)新存力運(yùn)力架構(gòu)的AI大模型云邊端協(xié)同一體機(jī)原理機(jī)。經(jīng)過(guò)數(shù)月的努力，問(wèn)道以芯于6月正式推出了工程化產(chǎn)品——“異構(gòu)存力推理機(jī)V1”，為中央科創(chuàng)區(qū)的“硬科技”產(chǎn)業(yè)生態(tài)注入了新活力。
隨著人工智能領(lǐng)域的蓬勃發(fā)展，特別是大模型時(shí)代的到來(lái)，企業(yè)對(duì)于如何高效支撐多場(chǎng)景人工智能模型的應(yīng)用需求愈發(fā)迫切。大模型一體機(jī)應(yīng)運(yùn)而生，它集成了硬件資源、軟件平臺(tái)和大模型的軟硬一體化能力，提供了便捷的使用體驗(yàn)，助力企業(yè)快速、穩(wěn)定地落地大模型技術(shù)。為推動(dòng)產(chǎn)業(yè)健康發(fā)展，中國(guó)信通院人工智能研究所聯(lián)合業(yè)界單位制定了可信AI大模型一體機(jī)行業(yè)標(biāo)準(zhǔn)。
“可信AI大模型一體機(jī)評(píng)估體系1.0”涵蓋了通用大模型一體機(jī)、專用大模型一體機(jī)和場(chǎng)景大模型一體機(jī)三大評(píng)估類別。其中，通用大模型一體機(jī)評(píng)估包括訓(xùn)推一體機(jī)、推理一體機(jī)、MoE模型專項(xiàng)和推理性能專項(xiàng)等；專用大模型一體機(jī)評(píng)估則針對(duì)基礎(chǔ)模型一體機(jī)、智能體一體機(jī)、代碼大模型一體機(jī)、金融一體機(jī)、政務(wù)一體機(jī)、教育一體機(jī)、工業(yè)一體機(jī)等；場(chǎng)景大模型一體機(jī)評(píng)估則聚焦于智能客服一體機(jī)、智能風(fēng)控一體機(jī)、智能決策一體機(jī)、BI一體機(jī)、智能編碼工具一體機(jī)等。
問(wèn)道以芯的“異構(gòu)存力推理機(jī)”采用了創(chuàng)新的CXL硬件設(shè)備與消費(fèi)級(jí)GPU、CPU配置相結(jié)合，通過(guò)優(yōu)化CXL無(wú)序IO和BIOS，有效解決了大模型推理場(chǎng)景中因內(nèi)存墻和數(shù)據(jù)墻導(dǎo)致的硬件性能下降問(wèn)題。該產(chǎn)品支持DeepSeek、Qwen等通用大模型及定制化大模型，并在llama.cpp框架下展現(xiàn)出高效率，顯著降低了推理側(cè)對(duì)GPU性能的需求，從而減少了硬件成本。
該推理機(jī)還具備靈活的IO配置能力，支持異步IO和分散-聚集IO，實(shí)現(xiàn)了IO優(yōu)先級(jí)調(diào)度。這一方案有效緩解了傳統(tǒng)IO操作因資源競(jìng)爭(zhēng)導(dǎo)致的阻塞問(wèn)題，使算力設(shè)備在更高效區(qū)間運(yùn)行。在實(shí)際應(yīng)用中，當(dāng)運(yùn)行DeepSeek-R1 70B模型時(shí)，推理機(jī)會(huì)將大部分內(nèi)存資源和IO資源傾斜向GPU，以確保其高效運(yùn)行；而當(dāng)運(yùn)行更大規(guī)模的DeepSeek-R1 671B模型時(shí)，由于GPU顯存和帶寬不足，推理機(jī)會(huì)通過(guò)CXL IO支持GPU計(jì)算，同時(shí)利用主內(nèi)存IO支持CPU計(jì)算，將推理任務(wù)卸載至多設(shè)備，以保證更好的輸出結(jié)果。
“問(wèn)道以芯異構(gòu)存力推理機(jī)”產(chǎn)品實(shí)物圖
展望未來(lái)，問(wèn)道以芯將繼續(xù)秉承“先進(jìn)芯片技術(shù)國(guó)產(chǎn)化、IP自主化、產(chǎn)品本地化”的理念，依托黃浦區(qū)的人才、產(chǎn)業(yè)和資本優(yōu)勢(shì)，以全自主知識(shí)產(chǎn)權(quán)重塑AI基礎(chǔ)設(shè)施。在“一帶一區(qū)硬科技”的戰(zhàn)場(chǎng)上，問(wèn)道以芯將持續(xù)沖鋒前行，與合作伙伴強(qiáng)強(qiáng)聯(lián)合，共同構(gòu)建AI服務(wù)器異構(gòu)計(jì)算互聯(lián)的生態(tài)體系。
