在人工智能領域的大模型技術浪潮中，一個長期被奉為圭臬的法則——Scaling Law，近日受到了前所未有的挑戰(zhàn)。據科技媒體The Information獨家報道，OpenAI下一代旗艦模型Orion的訓練效果似乎并未如預期般驚艷，與GPT-4相比，性能提升可能微乎其微。這一消息在業(yè)界掀起了軒然大波，迫使從業(yè)者重新審視大模型的發(fā)展路徑。
一直以來，基于Scaling Law的大模型發(fā)展路徑存在著顯著的瓶頸。為了提升模型的能力，廠商們不得不持續(xù)擴大預訓練數據的規(guī)模、增加訓練算力，并不斷擴大模型的參數。然而，這種做法不僅成本高昂，而且容易導致算法的同質化，進而造成數據規(guī)模和訓練算力的同質化，最終使得模型的輸出能力趨于一致。大模型能否有效學習并利用客戶數據，成為特定領域的專家，也是一個亟待解決的問題。
面對這些挑戰(zhàn)，硬氪近日接觸到的傳神物聯(lián)網公司提出了一種全新的觀點：集中式預訓練模式或許已經走到了盡頭，實時學習和訓練模式更值得探索。傳神物聯(lián)網的董事長何恩培指出，在相同參數下，如果模型的算法和架構更加先進，那么所需的訓練算力和訓練數據就會更少，而且模型的性能甚至可能超越那些采用常規(guī)架構和大參數的模型。
“這種采用高效算法和架構的小參數模型，不僅更適合商業(yè)落地，而且能夠滿足通用場景的需求。”何恩培強調道。基于這一理念，傳神物聯(lián)網發(fā)布了其自主研發(fā)的任度大模型，該模型采用了雙網絡架構，將推理網絡與數據學習網絡分離。
其中，數據學習網絡類似于人類的左腦，專注于數據的動態(tài)管理和迭代訓練，持續(xù)為模型提供知識。而推理網絡則類似于人類的右腦，作為經過大量數據預訓練的基礎網絡，具備出色的推理和泛化能力。這種雙網絡協(xié)同工作的設計，不僅降低了訓練的算力成本，還避免了微調導致的模型能力退化和泛化能力減弱等問題。
據傳神物聯(lián)網介紹，任度大模型采用了全技術棧自主研發(fā)的雙網絡架構，未使用任何開源代碼和框架。通過數推分離技術，該模型突破了常規(guī)大模型的技術架構限制，上下文輸入長度不再受限，能夠將億量級用戶數據壓縮至神經網絡中，并進行深度知識理解。這種實時數據學習模式，即使面對極少量的數據更新，也能快速上傳并完成數據壓縮，迭代為企業(yè)自己的定制化大模型。
目前，傳神物聯(lián)網已將雙網絡架構的數推分離大模型應用至任度“雙腦”大模型一體機中，即將投放市場。該一體機基于數推分離的雙腦模式，解決了客戶數據離場訓練、向量效果有限及人才投入高等痛點。通過本地部署及訓練，無需上傳至公有云，保障了數據的隱私安全。
任度“雙腦”大模型一體機還具備根原創(chuàng)和高性參比的特點，能夠在一定程度上解決客戶在應用大模型過程中的高硬件投入、高能耗以及技術安全和軟件漏洞等痛點。這一創(chuàng)新性的解決方案，無疑為業(yè)界提供了一種全新的思路，有望推動大模型技術的發(fā)展進入一個新的階段。
