近日,上海巖芯數(shù)智人工智能科技有限公司(以下簡稱RockAI)的Yan架構(gòu)大模型成功通過《生成式人工智能服務(wù)管理暫行辦法》備案,這是國內(nèi)首個(gè)非Transformer架構(gòu)大模型通過備案。
Yan模型簡介
Yan架構(gòu)大模型是國內(nèi)首個(gè)非Transformer架構(gòu)、非Attention機(jī)制的大模型。傳統(tǒng)的Transformer架構(gòu)和Attention機(jī)制對算力要求較高,而Yan架構(gòu)大模型以MCSD、類腦激活機(jī)制為基礎(chǔ)原理,大幅提升模型性能與效率,以3B參數(shù)量可達(dá)到Llama3 8B的水平,還可在CPU上運(yùn)行部署。MCSD架構(gòu)具有快速訓(xùn)練、推理能力,實(shí)現(xiàn)更高效的特征提取,類腦激活機(jī)制則模擬大腦中的神經(jīng)元激活模式,在計(jì)算時(shí)選擇性激活部分參數(shù),減少算力冗余,更高效地解決問題。Yan架構(gòu)大模型在保證性能的同時(shí),有效降低了對算力的依賴。這不僅有助于提高模型的運(yùn)行效率,還能降低成本,為更多企業(yè)和開發(fā)者提供了觸手可及的AI解決方案。
備案通過的價(jià)值
因此,Yan架構(gòu)大模型通過備案對于RockAI以及行業(yè)發(fā)展均具有重要價(jià)值。
· 為行業(yè)發(fā)展開辟新的技術(shù)路徑
作為國內(nèi)首個(gè)非Transformer架構(gòu)、非Attention機(jī)制大模型完成網(wǎng)信辦備案,為行業(yè)發(fā)展開辟了新的技術(shù)路徑。
· 證明非Transformer技術(shù)路線的潛力
證明在算力受限的情況下,非Transformer架構(gòu)技術(shù)路線的可行性和潛力,從而能夠鼓勵(lì)更多企業(yè)探索多元化的技術(shù)發(fā)展方向。
· 業(yè)內(nèi)唯一一家同時(shí)擁有雙機(jī)制模型
RockAI成為唯一一家非Attention機(jī)制大模型和Attention機(jī)制大模型均備案通過的廠商,彰顯了其在AI技術(shù)研發(fā)方面的創(chuàng)新能力。
Yan落地情況
技術(shù)突破之外,商業(yè)落地層面Yan架構(gòu)大模型也取得了顯著成果。依托低算力要求、本地部署、無損運(yùn)行等優(yōu)勢,RockAI已與機(jī)器人、無人機(jī)、手機(jī)、電腦等領(lǐng)域的設(shè)備廠商建立深度合作,并在上述領(lǐng)域落地多個(gè)項(xiàng)目。
RockAI在大模型領(lǐng)域以“群體智能”的理念構(gòu)建通用人工智能技術(shù),以“讓世界上每一臺(tái)設(shè)備擁有自己的智能”為使命,致力于打造群體智能單元大模型,實(shí)現(xiàn)AI普惠。Yan架構(gòu)大模型的備案通過是RockAI踐行使命的重要里程碑,未來,我們期待Yan架構(gòu)大模型在更多設(shè)備單元部署應(yīng)用,讓群體智能引領(lǐng)走向通用人工智能,與合作伙伴一起,領(lǐng)先一步開拓更加廣闊的市場空間。
