meta超級智能團隊的成員畢樹超近期在哥倫比亞大學和哈佛大學進行了兩場關于人工智能的演講，引發了廣泛關注和討論。他在演講中回顧了人工智能（AI）70年的發展歷程，從AlexNet引發的深度學習革命，到Transformer和Scaling Law推動大模型的爆發，再到強化學習與預訓練的結合，逐步通向通用人工智能（AGI）。畢樹超強調，智能并非人類獨有，AGI的曙光已經出現。
畢樹超指出，盡管十年前他對AGI持懷疑態度，但近年來他逐漸接受了這一理念，并堅信2025年AGI將成為現實。他在演講中詳細闡述了過去15年的技術進展、當前面臨的挑戰以及未來的發展趨勢。
畢樹超在meta超級智能實驗室從事強化學習、預訓練以及智能體研究。此前，他曾在OpenAI領導多模態研究，并擔任YouTube Shorts的主要負責人。他擁有浙江大學數學學士學位，以及加州大學伯克利分校統計學碩士和數學博士學位。
畢樹超的演講特別提到了高質量人類數據的稀缺性。他指出，盡管人類文明已有幾千年歷史，但真正積累的高質量數據并不多，大部分文本數據已經消耗殆盡。因此，如何生成更多的數據成為關鍵問題。他認為，算力正變得越來越廉價，計算機與環境的交互或許能自動生成新的知識與數據，且速度可能遠超人類。
畢樹超分享了他對AGI研究的心路歷程。起初，他對通用人工智能持懷疑態度，認為人腦是獨特的，人類智能無可復制。但隨著對AI理解的加深，他開始意識到模擬人腦的方式并非只有一種，計算機完全有能力模仿人類的學習方式。他認為，大腦只是生物進化的結果，雖然復雜，但本質上是一臺“生物計算機”，并不比硅基計算機更神秘。更重要的是，系統是否具備足夠的規模，而非結構的復雜程度，可能是決定智能的關鍵因素。
在哥倫比亞大學的演講中，畢樹超追溯了AI的思想根源。他提到，1948-1950年左右，Alan Turing提出了“機器能思考嗎？”的問題，并主張設計一個簡單模型，通過數據自主學習，盡量減少人為預設的結構。畢樹超指出，這正是機器學習的核心。
他回顧了自監督學習、深度網絡以及Transformer等里程碑式架構的興起，并展示了計算能力和數據規模的提升如何帶來性能的飛躍。畢樹超特別提到了AlexNet、Word2Vec、GAN、Adam優化器和ResNet等關鍵技術，這些技術為深度學習革命奠定了基礎。
畢樹超還提到了過參數化不是bug，而是feature的顛覆性發現。他指出，在深度學習模型中，參數數量遠超過數據點數量并不會導致過擬合，反而有助于模型選擇泛化性最優的解。這一發現打破了傳統統計分析領域的認知。
畢樹超認為，Transformer架構是過去十年最重要的架構之一，它高度可并行化、數據效率高，且擴展性極佳。Transformer的出現解決了之前模型的局限性，推動了AI技術的發展。他特別提到了GPT系列模型，認為這些模型通過零樣本或少樣本學習完成任務，展現了通用人工智能的本質。
畢樹超還探討了強化學習在AI發展中的作用。他指出，深度強化學習從2015年開始逐漸興起，AlphaGo的出現讓人們意識到AI模型真的具備智能。然而，強化學習在現實中的應用一度受限，直到與預訓練模型結合，才真正改變了局面。他強調，未來要構建真正的AGI乃至超人工智能（ASI），強化學習必須發揮更大的作用。
畢樹超在演講中表示，每隔幾個月，人們就能看到曾經被認為不可能的事情成為現實。他認為，很多我們以為的不可能，其實只是知識的局限。他鼓勵人們重新審視所有仍然認為不可能的事情，并期待AI技術的未來發展。
