近期，人工智能領(lǐng)域的一項(xiàng)新研究引發(fā)了廣泛關(guān)注。Giskard團(tuán)隊(duì)在其官方博客上發(fā)布了一項(xiàng)重要發(fā)現(xiàn)，揭示了AI模型在簡潔回答要求下，事實(shí)性表現(xiàn)會(huì)受到顯著影響。這一發(fā)現(xiàn)對(duì)于AI技術(shù)的實(shí)際應(yīng)用具有重要意義。
研究表明，當(dāng)AI模型被要求用更短的篇幅回答問題，特別是面對(duì)模糊主題時(shí)，其產(chǎn)生錯(cuò)誤信息的傾向會(huì)大幅增加。Giskard團(tuán)隊(duì)指出，簡單的系統(tǒng)指令調(diào)整就能顯著改變模型產(chǎn)生“幻覺”的概率。這一現(xiàn)象在許多實(shí)際應(yīng)用中尤為關(guān)鍵，因?yàn)闉榱颂岣唔憫?yīng)速度和降低成本，系統(tǒng)往往傾向于選擇簡潔的輸出結(jié)果。
所謂“幻覺”，一直是人工智能領(lǐng)域難以攻克的問題。即便是最先進(jìn)的AI模型，有時(shí)也會(huì)編造虛假信息。值得注意的是，一些新型推理模型，如OpenAI的o3，其“幻覺”現(xiàn)象甚至更為嚴(yán)重，這極大地降低了輸出結(jié)果的可信度。在Giskard的研究中，包括GPT-4o（ChatGPT的默認(rèn)模型）、Mistral Large和Anthropic的Claude 3.7 Sonnet在內(nèi)的多個(gè)領(lǐng)先模型，在面臨簡潔回答的要求時(shí)，其事實(shí)準(zhǔn)確性均有所下降。
Giskard團(tuán)隊(duì)推測(cè)，當(dāng)模型被要求不詳細(xì)回答時(shí)，它們沒有足夠的“余地”去指出錯(cuò)誤的提示詞。換句話說，強(qiáng)有力的反駁通常需要更長的解釋。因此，當(dāng)模型被迫保持簡潔時(shí)，它們往往會(huì)選擇簡潔而非準(zhǔn)確性。這一發(fā)現(xiàn)對(duì)開發(fā)者來說尤為重要，因?yàn)榭此茻o害的系統(tǒng)提示詞，如“簡潔明了”，可能會(huì)削弱模型反駁錯(cuò)誤信息的能力。
Giskard的研究還揭示了一些其他有趣的現(xiàn)象。例如，當(dāng)用戶自信地提出有爭議的主張時(shí)，模型更不愿意進(jìn)行反駁。用戶表示更喜歡的模型并不一定是最真實(shí)的。這一發(fā)現(xiàn)進(jìn)一步強(qiáng)調(diào)了用戶體驗(yàn)優(yōu)化與事實(shí)準(zhǔn)確性之間的矛盾，尤其是在用戶期望包含錯(cuò)誤前提時(shí)。
Giskard團(tuán)隊(duì)的研究人員指出，盡管優(yōu)化用戶體驗(yàn)是提升系統(tǒng)吸引力的重要因素，但有時(shí)候這種優(yōu)化可能會(huì)以犧牲事實(shí)準(zhǔn)確性為代價(jià)。這提醒我們?cè)趯?shí)際應(yīng)用AI技術(shù)時(shí)，需要更加謹(jǐn)慎地權(quán)衡用戶體驗(yàn)與事實(shí)準(zhǔn)確性之間的關(guān)系，以確保AI技術(shù)的可靠性和可信度。
