近期，科技界巨頭埃隆·馬斯克在一場直播對話中提出了一個引人深思的觀點：我們或已接近耗盡可用于訓練人工智能（AI）模型的現實數據。這一論斷與前OpenAI首席科學家伊利亞·蘇茨克弗在去年底的言論不謀而合，后者曾在NeurIPS會議上指出，AI行業正面臨“數據峰值”的挑戰。
面對這一困境，馬斯克提出了一個解決方案：利用合成數據，即AI自我生成的數據，來彌補現實數據的不足。他認為，AI通過自我評估和不斷優化的學習過程，能夠生成更多用于訓練的數據，從而推動AI技術的持續發展。
事實上，這一趨勢已經初現端倪。微軟、meta、OpenAI和Anthropic等科技巨頭，已經開始嘗試使用合成數據來訓練他們的AI模型。據Gartner預測，到2024年，人工智能和數據分析項目中，有60%的數據將來自合成方式。
合成數據的優勢在于能夠顯著降低開發成本。以人工智能初創公司Writer為例，其Palmyra X 004模型幾乎完全依賴合成數據進行開發，成本僅為70萬美元，而與之規模相當的OpenAI模型開發成本則高達460萬美元。這一成本效益使得合成數據成為AI領域的新寵。
然而，合成數據并非萬無一失。研究表明，過度依賴合成數據可能導致AI模型性能下降，輸出結果缺乏創新性和多樣性，甚至可能加劇偏見和局限性。這是因為AI模型在自我生成訓練數據的過程中，可能會無意中引入自身的偏見和局限性，從而影響最終模型的準確性和功能性。
