在人工智能領域的風起云涌中，DeepAI公司的CEO Kevin Baragona在2024 T-EDGE創新大會暨鈦媒體財經年會上分享了他對當前大模型行業發展的深刻見解。這一行業在過去一年中經歷了翻天覆地的變化，引發了廣泛關注。
據業內專家李開復觀察，從GPT-4、Turbo、4o到o1，大模型的推理成本在過去一年里顯著下降了大約10倍。整個行業正以驚人的速度推進，實現推理速度的提升和成本的降低。然而，隨著算力不斷提升，基礎大模型的Scaling Law法則開始遭遇挑戰。由于全球數據總量的限制，大模型的發展速度開始放緩。
Kevin Baragona在大會現場針對這一行業困境，給出了他的獨到見解。DeepAI作為美國領先的生成式AI供應商之一，提供了一系列出色的AI工具，包括文生圖、文生視頻、音樂創作和開發人員API等。這些工具使個人創作者和企業能夠輕松使用先進的AI功能，實現創意和實用應用的多樣化。
Baragona回憶道，過去AI曾是一個令人羞愧的詞，因為數十年來幾乎沒有任何實質性進展，AI開發者常被嘲笑。然而，2024年，我們正處于AI的黃金時代，每個月都能見證巨大的進步。他強調，推動這一切的最大動力是計算成本的大幅下降。對于整個AI行業來說，已經沒有秘密可言，只需要不斷購買算力和數據，進行大規模實驗，就能不斷優化AI性能。
然而，隨著算力和數據的不斷增加，AI行業也發現了一個問題：大語言模型的進展開始變得緩慢。Baragona認為，盡管大語言模型的發展可能還沒有停止，但確實有所放緩。他指出，放緩的最本質原因是現實世界的數據有限，可用于大模型訓練的數據幾乎已經用盡。因此，人類需要尋找新的架構來替代現有的架構。
DeepAI找到的解決方案是回到模型架構本身的優化上，特別是優化模型的推理架構。在這一路徑下，大模型一開始的推理時間、數據訓練和測試時間會更長，但對數據量的要求會大幅降低。隨著推理模型各個步驟的優化，推理速度將加快，AI性能也會變得更強。Baragona表示，在全新的架構下，算力將變得越來越廉價，但AI性能可能達到難以想象的結果。
在演講中，Baragona還分享了DeepAI在圖像生成和視頻生成方面的突破。他提到，在DeepAI剛剛起步時，圖像生成效果并不理想，用戶輸入的文字提示往往只能得到模糊不清、缺乏連貫性的圖像。然而，如今生成的圖像質量已經質的飛躍，幾乎達到了攝影作品般的清晰度與真實性。不僅如此，AI還能生成許多現實中并不存在的奇幻圖像，充分展示了其泛化能力。
Baragona還提到，人工智能的發展并非一帆風順。在過去幾十年里，AI經歷了漫長的“寒冬期”，神經網絡和深度學習技術一度飽受詬病，被視為不太可靠的技術。從事深度學習研究的人員常被外界調侃為不切實際的“小丑”。然而，近年來，隨著GPT-3等模型的發布，深度學習技術逐漸得到了廣泛認可，推動了AI的迅猛發展。
他強調，推動AI近年來迅猛發展的關鍵因素是計算成本的大幅降低。這使得研究人員能夠投入更多的計算資源，推動模型的訓練與優化。以英偉達為例，它之所以在AI領域取得巨大成功，是因為能夠以較低的成本提供高效的矩陣乘法運算能力。
然而，隨著AI技術的日益強大與普及，也引發了廣泛的社會關注與討論。一些人擔憂AI的潛在危險性，呼吁對其進行嚴格的監管與限制。與此同時，各國和企業都在競相投入資源，力爭在AI領域占據領先地位。這種矛盾的心態在行業內普遍存在，導致AI研究與開發變得更加保密。
盡管如此，Baragona認為，AI背后的核心數學原理與技術框架并非神秘莫測。真正的“秘密武器”在于能夠將海量的計算資源與龐大的數據集進行有效整合，訓練出功能強大的人工智能模型。這就像一場資源與數據的“煉金術”，通過巧妙的調配與運用，實現AI模型性能的飛躍。
最后，Baragona提到了大型語言模型的發展是否已經進入停滯期或平臺期的問題。雖然大型語言模型并沒有完全停止前進，但發展速度確實有所放緩。他認為，數據資源的匱乏是主要瓶頸。然而，他并不認為研發全新模型架構是解決問題的關鍵，因為機器學習的核心在于通過數據擬合模型，只要數據量足夠豐富、計算資源充足，不同架構在性能上的差異并不會太大。
Baragona認為，重新審視對AI模型的期望與定位可能是應對當前困境的一種思路。他強調，真正的“圣杯”級目標是讓模型具備強大的推理能力，能夠靈活應用所學知識解決各種新問題。近年來，人們開始嘗試專門針對推理任務進行模型訓練，取得了一定的成果。
