在人工智能領域的大模型技術浪潮中，一個長期被奉為圭臬的法則——Scaling Law，近日受到了前所未有的挑戰(zhàn)。據(jù)科技媒體The Information獨家報道，OpenAI下一代旗艦模型Orion的訓練效果似乎并未如預期般驚艷，與GPT-4相比，性能提升可能微乎其微。這一消息在業(yè)界掀起了軒然大波，迫使從業(yè)者重新審視大模型的發(fā)展路徑。
一直以來，基于Scaling Law的大模型發(fā)展路徑存在著顯著的瓶頸。為了提升模型的能力，廠商們不得不持續(xù)擴大預訓練數(shù)據(jù)的規(guī)模、增加訓練算力，并不斷擴大模型的參數(shù)。然而，這種做法不僅成本高昂，而且容易導致算法的同質(zhì)化，進而造成數(shù)據(jù)規(guī)模和訓練算力的同質(zhì)化，最終使得模型的輸出能力趨于一致。大模型能否有效學習并利用客戶數(shù)據(jù)，成為特定領域的專家，也是一個亟待解決的問題。
面對這些挑戰(zhàn)，硬氪近日接觸到的傳神物聯(lián)網(wǎng)公司提出了一種全新的觀點：集中式預訓練模式或許已經(jīng)走到了盡頭，實時學習和訓練模式更值得探索。傳神物聯(lián)網(wǎng)的董事長何恩培指出，在相同參數(shù)下，如果模型的算法和架構更加先進，那么所需的訓練算力和訓練數(shù)據(jù)就會更少，而且模型的性能甚至可能超越那些采用常規(guī)架構和大參數(shù)的模型。
“這種采用高效算法和架構的小參數(shù)模型，不僅更適合商業(yè)落地，而且能夠滿足通用場景的需求。”何恩培強調(diào)道。基于這一理念，傳神物聯(lián)網(wǎng)發(fā)布了其自主研發(fā)的任度大模型，該模型采用了雙網(wǎng)絡架構，將推理網(wǎng)絡與數(shù)據(jù)學習網(wǎng)絡分離。
其中，數(shù)據(jù)學習網(wǎng)絡類似于人類的左腦，專注于數(shù)據(jù)的動態(tài)管理和迭代訓練，持續(xù)為模型提供知識。而推理網(wǎng)絡則類似于人類的右腦，作為經(jīng)過大量數(shù)據(jù)預訓練的基礎網(wǎng)絡，具備出色的推理和泛化能力。這種雙網(wǎng)絡協(xié)同工作的設計，不僅降低了訓練的算力成本，還避免了微調(diào)導致的模型能力退化和泛化能力減弱等問題。
據(jù)傳神物聯(lián)網(wǎng)介紹，任度大模型采用了全技術棧自主研發(fā)的雙網(wǎng)絡架構，未使用任何開源代碼和框架。通過數(shù)推分離技術，該模型突破了常規(guī)大模型的技術架構限制，上下文輸入長度不再受限，能夠?qū)|量級用戶數(shù)據(jù)壓縮至神經(jīng)網(wǎng)絡中，并進行深度知識理解。這種實時數(shù)據(jù)學習模式，即使面對極少量的數(shù)據(jù)更新，也能快速上傳并完成數(shù)據(jù)壓縮，迭代為企業(yè)自己的定制化大模型。
目前，傳神物聯(lián)網(wǎng)已將雙網(wǎng)絡架構的數(shù)推分離大模型應用至任度“雙腦”大模型一體機中，即將投放市場。該一體機基于數(shù)推分離的雙腦模式，解決了客戶數(shù)據(jù)離場訓練、向量效果有限及人才投入高等痛點。通過本地部署及訓練，無需上傳至公有云，保障了數(shù)據(jù)的隱私安全。
任度“雙腦”大模型一體機還具備根原創(chuàng)和高性參比的特點，能夠在一定程度上解決客戶在應用大模型過程中的高硬件投入、高能耗以及技術安全和軟件漏洞等痛點。這一創(chuàng)新性的解決方案，無疑為業(yè)界提供了一種全新的思路，有望推動大模型技術的發(fā)展進入一個新的階段。
