近期，人工智能領域的快速發展引發了廣泛關注，眾多初創企業紛紛聲稱其AI產品能夠革新工作方式和知識獲取途徑。然而，一項刊登在《皇家學會》期刊上的最新研究卻向這一樂觀趨勢潑了一盆冷水，揭示了新一代AI模型在文本總結方面存在嚴重缺陷，引發業界擔憂。
該研究對市面上十款主流的語言模型（LLM）進行了深入剖析，涉及近五千份科學研究總結的樣本，其中包括ChatGPT-4o、ChatGPT-4.5、DeepSeek以及LLaMA3.370B等知名聊天機器人。研究結果顯示，這些AI模型在提供信息時，有高達73%的概率會忽略掉關鍵信息，這一錯誤率遠高于人類撰寫科學摘要時的表現，甚至是人類的五倍之多。
研究團隊強調，LLM在總結科學文本時，往往會遺漏那些限制研究結論范圍的重要細節，從而導致對原始研究成果的過度解讀。更令人不安的是，隨著聊天機器人的不斷迭代升級，其錯誤率并未如行業巨頭所承諾的那樣呈現下降趨勢，反而呈現出上升趨勢。以ChatGPT為例，在2023年至2025年間，美國青少年對其使用率從13%攀升至26%，但在此期間，舊版ChatGPT-4Turbo遺漏關鍵細節的概率已是原版的2.6倍，而新版ChatGPT-4o更是高達9倍。同樣，meta的LLaMA3.370B新版本相較于舊版，其過度概括的概率也激增了36.4倍。
將大量數據精煉為簡潔明了的幾句話，對于人類而言或許并不困難，因為我們可以憑借豐富的經驗和直觀感受來提煉信息。但對于AI模型而言，這卻是一項極為復雜的任務。特別是在臨床醫療等領域，細節決定成敗，任何微小的遺漏都可能帶來無法挽回的后果。因此，將LLM廣泛應用于各行各業，特別是醫療和工程領域，無疑面臨著巨大的風險和挑戰。
盡管研究也指出，給予LLM的提示會對其回答產生顯著影響，但這一因素是否同樣適用于科學論文的總結，目前仍不得而知，這為未來的研究提供了新的方向。然而，在AI開發者有效解決這些問題之前，人們或許還需要繼續依賴人類撰寫的內容來準確概括科學報告。
