【ITBEAR】在2024年IDEA大會上，美國國家工程院外籍院士、IDEA研究院創(chuàng)院理事長沈向洋發(fā)表了題為“從技術(shù)突破到產(chǎn)業(yè)融合”的演講，分享了他對人工智能“三件套”——算力、算法和數(shù)據(jù)的最新見解。
沈向洋指出，在技術(shù)爆發(fā)期，對技術(shù)的深刻理解尤為重要。他認為，未來十年，AI的發(fā)展可能需要增長100萬倍的算力，遠超摩爾定律預測的100倍增長。英偉達作為AI行業(yè)的領(lǐng)軍企業(yè)，其影響力已遠遠超出了硬件和芯片供應(yīng)商的范疇。
根據(jù)EPOCH AI的數(shù)據(jù)，每年最新的大模型對算力的需求都在以驚人的速度增長，年均增長率超過四倍。截至目前，全球已經(jīng)消耗了超過1000萬張GPU算力卡。沈向洋表示：“英偉達從硬件芯片供應(yīng)商變成了行業(yè)的核心支柱，如今能拿到英偉達的卡，可以說就成功了一半?！?/p>
沈向洋透露，英偉達CEO黃仁勛將于次日到香港科技大學接受榮譽博士學位，并計劃與其探討技術(shù)、領(lǐng)導力和創(chuàng)業(yè)的故事，特別是關(guān)于未來十年算力是否還能保持100萬倍的增長。
在算法方面，沈向洋指出，自2017年Transformer架構(gòu)問世以來，AI和深度學習的發(fā)展基本沿著這一方向推進。但GPT-4之后，算法范式出現(xiàn)了新突破，特別是OpenAI推出的新技術(shù)，如多模態(tài)的GPT-4V和最新的o1推理學習能力，展示了算法創(chuàng)新的新方向。
沈向洋強調(diào)，新一代模型如o1引入了強化學習的理念，使模型具備了自我改善的能力。這種新方法更接近人類的思考方式，能夠處理多個領(lǐng)域的問題，包括數(shù)據(jù)分析、編程、物理和化學等。他預測，未來幾年，沿著Self-Reinforcement Learning（SRL）的道路，算法領(lǐng)域?qū)⒊霈F(xiàn)更多令人驚艷的突破。
在數(shù)據(jù)方面，沈向洋提到，大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長，還需要海量數(shù)據(jù)的支持。例如，GPT-3使用了2萬億的token數(shù)據(jù)，而GPT-4則增加到12T，甚至可能達到20T。他預測，如果GPT-5問世，可能需要200T規(guī)模的數(shù)據(jù)。然而，互聯(lián)網(wǎng)上的優(yōu)質(zhì)數(shù)據(jù)已接近極限，因此合成數(shù)據(jù)成為新的研究方向。
沈向洋介紹了IDEA研究院在合成數(shù)據(jù)方面的探索，通過語境圖譜技術(shù)生成新的語料，解決過往文本數(shù)據(jù)合成方案的多樣性匱乏問題。實驗結(jié)果顯示，該技術(shù)能持續(xù)為大模型帶來能力提升，表現(xiàn)超過目前的最佳實踐，平均節(jié)約成本85.7%。
沈向洋還提到，IDEA研究院致力于AI和數(shù)字經(jīng)濟領(lǐng)域的前沿研究與產(chǎn)業(yè)落地，包括低空經(jīng)濟研究中心、計算機視覺與機器人研究中心等多個研究中心。此次IDEA大會發(fā)布了多個領(lǐng)域的新技術(shù)和新模型，實現(xiàn)了AI從技術(shù)突破到產(chǎn)業(yè)融合。
在演講的最后，沈向洋強調(diào)了AI對社會發(fā)展的深遠影響，并指出AI治理的重要性。他提到，隨著AI的發(fā)展，GDP年均增長可能達到十幾個百分點，但這也帶來了諸多社會問題，如經(jīng)濟最大增長是否能轉(zhuǎn)化為人類最大福祉等。
沈向洋的演講為參會者提供了對AI未來發(fā)展的深刻洞察，并激發(fā)了大家對AI技術(shù)突破與產(chǎn)業(yè)融合的思考。
