【ITBEAR】在近日舉行的酷+科技峰會(huì)科技創(chuàng)新專場(chǎng)活動(dòng)中，RockAI公司的首席執(zhí)行官劉凡平就人工智能領(lǐng)域的前沿話題發(fā)表了精彩演講。他圍繞“大模型與物理空間：從單體智能到群體智能”的主題，深刻剖析了當(dāng)前大模型面臨的挑戰(zhàn)、群體智能的潛力以及未來(lái)的發(fā)展路徑。
演講伊始，劉凡平便直擊要害，指出當(dāng)前大模型存在的問(wèn)題。他表示，現(xiàn)有大模型多依賴于海量數(shù)據(jù)和強(qiáng)大算力進(jìn)行單體推理，這種模式缺乏合理性。與人類的學(xué)習(xí)模式不同，大模型無(wú)法在現(xiàn)實(shí)生活中實(shí)時(shí)學(xué)習(xí)和交互。Transformer架構(gòu)在存儲(chǔ)帶寬、訓(xùn)練效果、多模態(tài)能力、實(shí)時(shí)性、能耗散熱等方面均存在明顯短板。即便是OpenAI等擁有充足算力和數(shù)據(jù)的巨頭，也面臨著算法層面的困境。Transformer架構(gòu)的原作者及圖靈獎(jiǎng)得主如楊立昆、辛頓等也對(duì)其提出了質(zhì)疑，包括Scaling Law極限問(wèn)題和計(jì)算資源浪費(fèi)等。
在這樣的背景下，RockAI推出了首個(gè)國(guó)產(chǎn)化非Transformer架構(gòu)——Yan架構(gòu)。劉凡平介紹，Yan架構(gòu)的多模態(tài)大模型在性能和效率上顯著優(yōu)于同類模型，可達(dá)到Llama3 8B的水平，同時(shí)訓(xùn)練效率更高，推理吞吐更大。更重要的是，它能在樹莓派等多種低算力設(shè)備上部署，這得益于其創(chuàng)新的MCSD和類腦激活機(jī)制。類腦激活機(jī)制模擬人腦神經(jīng)元激活模式，選擇性激活部分參數(shù)，降低了算力依賴，實(shí)現(xiàn)了訓(xùn)練與推理的同步，從而大幅提升了模型性能。
劉凡平進(jìn)一步指出，通用人工智能的終局將是群體智能。他強(qiáng)調(diào)，群體智能在自然界中廣泛存在，人類社會(huì)的發(fā)展也離不開群體智能。而實(shí)現(xiàn)群體智能需要具備自主學(xué)習(xí)、人機(jī)交互和適配更多終端三個(gè)條件。RockAI在大模型領(lǐng)域率先提出了“群體智能”的概念，并找到了實(shí)現(xiàn)路徑。他們認(rèn)為，實(shí)現(xiàn)群體智能需要經(jīng)歷創(chuàng)新性基礎(chǔ)架構(gòu)、多元化硬件生態(tài)、自適應(yīng)智能進(jìn)化和協(xié)同化群體智能四個(gè)階段。目前，RockAI正處于第三階段，并堅(jiān)持在算法層面進(jìn)行創(chuàng)新。
在談到Transformer架構(gòu)時(shí)，劉凡平表示，盡管它存在諸多問(wèn)題，但數(shù)據(jù)采集方式已使其具備了一定的智能涌現(xiàn)能力。如果將大模型引入物理世界，有望實(shí)現(xiàn)超指數(shù)級(jí)的智能化增長(zhǎng)。然而，Transformer架構(gòu)的大模型很難成為群體智能的單元大模型，因?yàn)槠浯鎯?chǔ)帶寬限制、訓(xùn)練效果不佳、多模態(tài)能力的不確定性以及實(shí)時(shí)性等問(wèn)題難以解決。因此，RockAI選擇了非Transformer架構(gòu)作為突破口。
劉凡平還分享了RockAI在算法層面的創(chuàng)新成果。他介紹，MCSD模塊將Transformer架構(gòu)的“發(fā)動(dòng)機(jī)”變成了電機(jī)，提升了響應(yīng)性能。而類腦激活機(jī)制則實(shí)現(xiàn)了在處理推理和訓(xùn)練時(shí)只有少部分功能被激活，從而降低了算力。這種算法層面的創(chuàng)新使得RockAI的模型能夠在樹莓派等低算力設(shè)備上部署，并且性能和效率均優(yōu)于同類模型。
最后，劉凡平強(qiáng)調(diào)了自主學(xué)習(xí)能力對(duì)于大模型的重要性。他認(rèn)為，自主學(xué)習(xí)能力是支撐人工智能下一步發(fā)展最關(guān)鍵的力量。而當(dāng)前Transformer架構(gòu)的大模型由于缺乏自主學(xué)習(xí)能力，無(wú)法在物理世界里持續(xù)進(jìn)化。因此，RockAI致力于通過(guò)算法創(chuàng)新，讓模型具備更強(qiáng)的自主學(xué)習(xí)能力，從而推動(dòng)人工智能向群體智能的方向發(fā)展。
