人工智能領域近期迎來了一項重大轉折，據業內消息，知名企業家埃隆·馬斯克旗下的AI初創公司xAI正面臨一個嚴峻挑戰：在AI模型的訓練過程中，人類歷史累積的知識數據似乎即將枯竭。這一困境并非孤例，早有研究表明，真實數據的供應將在未來幾年內迅速減少，預計將在2至8年內達到極限。
面對這一數據危機，科技界開始積極尋找替代方案，合成數據因此成為焦點。澳大利亞“對話”網站近期指出，盡管合成數據具備諸多優勢，但其過度使用也可能對AI的準確性和可靠性造成負面影響。
一直以來，科技公司主要依賴真實數據來開發和優化AI模型。這些數據包括文本、視頻和圖像，它們源自各種現實世界的調查、實驗和社交媒體挖掘。然而，真實數據并非完美無缺，其中可能包含拼寫錯誤、內容不一致和偏見，這些問題在生成式AI模型中尤為突出，有時會導致生成的圖像缺乏多樣性。
更緊迫的是，真實數據的供應速度已無法滿足AI日益增長的需求。美國開放人工智能研究中心的聯合創始人伊利亞·蘇茨克維爾警告稱，AI行業已經觸及“數據峰值”，訓練數據的短缺問題日益嚴峻。有預測指出，到2026年，大型語言模型如ChatGPT的訓練將耗盡互聯網上的所有可用文本數據。
為了應對這一挑戰，合成數據應運而生。合成數據是通過算法生成的，模仿真實世界情況的數據，可以在數字世界中創造，無需從現實世界收集。它不僅為AI訓練提供了一種經濟高效的解決方案，還有效解決了隱私和道德問題，尤其是涉及敏感信息時。更重要的是，合成數據在理論上可以無限供應。
科技巨頭們已經開始積極采用合成數據來訓練AI模型。微軟、元宇宙平臺公司和Anthropic等知名企業都在其AI訓練中融入了合成數據。例如，微軟的“Phi-4”模型、谷歌的“Gemma”模型以及Anthropic的“Claude 3.5 Sonnet”系統都使用了合成數據。蘋果在其自研AI系統Apple Intelligence的預訓練階段也大量使用了合成數據。
隨著需求的增長，生產合成數據的工具也應運而生。英偉達發布的3D仿真數據生成引擎Omniverse Replicator能夠生成用于自動駕駛汽車和機器人訓練的合成數據。英偉達還開源了Nemotron-4340b系列模型，開發者可以使用該模型生成高質量的合成數據，用于訓練大型語言模型，以應用于多個行業。微軟和亞馬遜云科技也推出了相應的合成數據生成工具。
然而，合成數據并非沒有缺點。過度依賴合成數據可能導致AI模型產生更多“幻覺”，即編造看似合理但實際上并不存在的信息。合成數據可能缺乏真實數據的復雜性和多樣性，導致AI模型的輸出過于簡單，缺乏實用性。例如，如果合成數據中包含拼寫錯誤，這些錯誤可能會被其他模型學習并放大。
為了解決這些問題，科技界需要采取一系列措施。國際標準化組織應著手創建系統來跟蹤和驗證AI訓練數據。同時，AI系統可以配備元數據追蹤功能，以便對合成數據進行溯源。人類監督在AI模型的訓練過程中至關重要，以確保合成數據的高質量和道德標準。
