【ITBEAR】在2024年IDEA大會上,美國國家工程院外籍院士、IDEA研究院創(chuàng)院理事長沈向洋發(fā)表了題為“從技術(shù)突破到產(chǎn)業(yè)融合”的演講,分享了他對人工智能“三件套”——算力、算法和數(shù)據(jù)的最新見解。
沈向洋指出,在技術(shù)爆發(fā)期,對技術(shù)的深刻理解尤為重要。他認為,未來十年,AI的發(fā)展可能需要增長100萬倍的算力,遠超摩爾定律預測的100倍增長。英偉達作為AI行業(yè)的領(lǐng)軍企業(yè),其影響力已遠遠超出了硬件和芯片供應(yīng)商的范疇。
根據(jù)EPOCH AI的數(shù)據(jù),每年最新的大模型對算力的需求都在以驚人的速度增長,年均增長率超過四倍。截至目前,全球已經(jīng)消耗了超過1000萬張GPU算力卡。沈向洋表示:“英偉達從硬件芯片供應(yīng)商變成了行業(yè)的核心支柱,如今能拿到英偉達的卡,可以說就成功了一半?!?/p>
沈向洋透露,英偉達CEO黃仁勛將于次日到香港科技大學接受榮譽博士學位,并計劃與其探討技術(shù)、領(lǐng)導力和創(chuàng)業(yè)的故事,特別是關(guān)于未來十年算力是否還能保持100萬倍的增長。
在算法方面,沈向洋指出,自2017年Transformer架構(gòu)問世以來,AI和深度學習的發(fā)展基本沿著這一方向推進。但GPT-4之后,算法范式出現(xiàn)了新突破,特別是OpenAI推出的新技術(shù),如多模態(tài)的GPT-4V和最新的o1推理學習能力,展示了算法創(chuàng)新的新方向。
沈向洋強調(diào),新一代模型如o1引入了強化學習的理念,使模型具備了自我改善的能力。這種新方法更接近人類的思考方式,能夠處理多個領(lǐng)域的問題,包括數(shù)據(jù)分析、編程、物理和化學等。他預測,未來幾年,沿著Self-Reinforcement Learning(SRL)的道路,算法領(lǐng)域?qū)⒊霈F(xiàn)更多令人驚艷的突破。
在數(shù)據(jù)方面,沈向洋提到,大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長,還需要海量數(shù)據(jù)的支持。例如,GPT-3使用了2萬億的token數(shù)據(jù),而GPT-4則增加到12T,甚至可能達到20T。他預測,如果GPT-5問世,可能需要200T規(guī)模的數(shù)據(jù)。然而,互聯(lián)網(wǎng)上的優(yōu)質(zhì)數(shù)據(jù)已接近極限,因此合成數(shù)據(jù)成為新的研究方向。
沈向洋介紹了IDEA研究院在合成數(shù)據(jù)方面的探索,通過語境圖譜技術(shù)生成新的語料,解決過往文本數(shù)據(jù)合成方案的多樣性匱乏問題。實驗結(jié)果顯示,該技術(shù)能持續(xù)為大模型帶來能力提升,表現(xiàn)超過目前的最佳實踐,平均節(jié)約成本85.7%。
沈向洋還提到,IDEA研究院致力于AI和數(shù)字經(jīng)濟領(lǐng)域的前沿研究與產(chǎn)業(yè)落地,包括低空經(jīng)濟研究中心、計算機視覺與機器人研究中心等多個研究中心。此次IDEA大會發(fā)布了多個領(lǐng)域的新技術(shù)和新模型,實現(xiàn)了AI從技術(shù)突破到產(chǎn)業(yè)融合。
在演講的最后,沈向洋強調(diào)了AI對社會發(fā)展的深遠影響,并指出AI治理的重要性。他提到,隨著AI的發(fā)展,GDP年均增長可能達到十幾個百分點,但這也帶來了諸多社會問題,如經(jīng)濟最大增長是否能轉(zhuǎn)化為人類最大福祉等。
沈向洋的演講為參會者提供了對AI未來發(fā)展的深刻洞察,并激發(fā)了大家對AI技術(shù)突破與產(chǎn)業(yè)融合的思考。