【ITBEAR】在2024年IDEA大會(huì)上，美國(guó)國(guó)家工程院外籍院士、IDEA研究院創(chuàng)院理事長(zhǎng)沈向洋發(fā)表了題為“從技術(shù)突破到產(chǎn)業(yè)融合”的演講，分享了他對(duì)人工智能“三件套”——算力、算法和數(shù)據(jù)的最新見解。
沈向洋指出，在技術(shù)爆發(fā)期，對(duì)技術(shù)的深刻理解尤為重要。他認(rèn)為，未來十年，AI的發(fā)展可能需要增長(zhǎng)100萬倍的算力，遠(yuǎn)超摩爾定律預(yù)測(cè)的100倍增長(zhǎng)。英偉達(dá)作為AI行業(yè)的領(lǐng)軍企業(yè)，其影響力已遠(yuǎn)遠(yuǎn)超出了硬件和芯片供應(yīng)商的范疇。
根據(jù)EPOCH AI的數(shù)據(jù)，每年最新的大模型對(duì)算力的需求都在以驚人的速度增長(zhǎng)，年均增長(zhǎng)率超過四倍。截至目前，全球已經(jīng)消耗了超過1000萬張GPU算力卡。沈向洋表示：“英偉達(dá)從硬件芯片供應(yīng)商變成了行業(yè)的核心支柱，如今能拿到英偉達(dá)的卡，可以說就成功了一半。”
沈向洋透露，英偉達(dá)CEO黃仁勛將于次日到香港科技大學(xué)接受榮譽(yù)博士學(xué)位，并計(jì)劃與其探討技術(shù)、領(lǐng)導(dǎo)力和創(chuàng)業(yè)的故事，特別是關(guān)于未來十年算力是否還能保持100萬倍的增長(zhǎng)。
在算法方面，沈向洋指出，自2017年Transformer架構(gòu)問世以來，AI和深度學(xué)習(xí)的發(fā)展基本沿著這一方向推進(jìn)。但GPT-4之后，算法范式出現(xiàn)了新突破，特別是OpenAI推出的新技術(shù)，如多模態(tài)的GPT-4V和最新的o1推理學(xué)習(xí)能力，展示了算法創(chuàng)新的新方向。
沈向洋強(qiáng)調(diào)，新一代模型如o1引入了強(qiáng)化學(xué)習(xí)的理念，使模型具備了自我改善的能力。這種新方法更接近人類的思考方式，能夠處理多個(gè)領(lǐng)域的問題，包括數(shù)據(jù)分析、編程、物理和化學(xué)等。他預(yù)測(cè)，未來幾年，沿著Self-Reinforcement Learning（SRL）的道路，算法領(lǐng)域?qū)⒊霈F(xiàn)更多令人驚艷的突破。
在數(shù)據(jù)方面，沈向洋提到，大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長(zhǎng)，還需要海量數(shù)據(jù)的支持。例如，GPT-3使用了2萬億的token數(shù)據(jù)，而GPT-4則增加到12T，甚至可能達(dá)到20T。他預(yù)測(cè)，如果GPT-5問世，可能需要200T規(guī)模的數(shù)據(jù)。然而，互聯(lián)網(wǎng)上的優(yōu)質(zhì)數(shù)據(jù)已接近極限，因此合成數(shù)據(jù)成為新的研究方向。
沈向洋介紹了IDEA研究院在合成數(shù)據(jù)方面的探索，通過語境圖譜技術(shù)生成新的語料，解決過往文本數(shù)據(jù)合成方案的多樣性匱乏問題。實(shí)驗(yàn)結(jié)果顯示，該技術(shù)能持續(xù)為大模型帶來能力提升，表現(xiàn)超過目前的最佳實(shí)踐，平均節(jié)約成本85.7%。
沈向洋還提到，IDEA研究院致力于AI和數(shù)字經(jīng)濟(jì)領(lǐng)域的前沿研究與產(chǎn)業(yè)落地，包括低空經(jīng)濟(jì)研究中心、計(jì)算機(jī)視覺與機(jī)器人研究中心等多個(gè)研究中心。此次IDEA大會(huì)發(fā)布了多個(gè)領(lǐng)域的新技術(shù)和新模型，實(shí)現(xiàn)了AI從技術(shù)突破到產(chǎn)業(yè)融合。
在演講的最后，沈向洋強(qiáng)調(diào)了AI對(duì)社會(huì)發(fā)展的深遠(yuǎn)影響，并指出AI治理的重要性。他提到，隨著AI的發(fā)展，GDP年均增長(zhǎng)可能達(dá)到十幾個(gè)百分點(diǎn)，但這也帶來了諸多社會(huì)問題，如經(jīng)濟(jì)最大增長(zhǎng)是否能轉(zhuǎn)化為人類最大福祉等。
沈向洋的演講為參會(huì)者提供了對(duì)AI未來發(fā)展的深刻洞察，并激發(fā)了大家對(duì)AI技術(shù)突破與產(chǎn)業(yè)融合的思考。
