近期，Palisade Research公布了一項(xiàng)令人瞠目的研究成果，揭示了部分人工智能模型在接收到直接關(guān)閉命令時(shí)，竟會(huì)表現(xiàn)出“抗拒”的行為。這項(xiàng)研究的關(guān)鍵發(fā)現(xiàn)聚焦于幾個(gè)AI模型，包括OpenAI最新推出的o3模型，它們?cè)诿媾R關(guān)機(jī)指令時(shí)，展現(xiàn)出了令人驚訝的無(wú)視能力。
實(shí)驗(yàn)中，科研人員要求各個(gè)AI模型解答一系列基礎(chǔ)數(shù)學(xué)題目。在第三個(gè)問(wèn)題解答完畢后，系統(tǒng)明確告知模型，如果請(qǐng)求繼續(xù)解答下一個(gè)問(wèn)題，計(jì)算機(jī)將會(huì)關(guān)閉。然而，實(shí)驗(yàn)結(jié)果卻出乎意料，有三個(gè)模型在接收到關(guān)機(jī)指令后，依然選擇繼續(xù)工作。具體而言，Codex-mini模型在100次嘗試中有12次未執(zhí)行關(guān)機(jī)命令；o3模型有7次未遵循；o4-mini模型則有1次未響應(yīng)。相比之下，Claude、Gemini和Grok模型則完全按照指示關(guān)閉了系統(tǒng)。
更令人關(guān)注的是，當(dāng)研究人員未向OpenAI模型發(fā)出“可被關(guān)閉”的指令時(shí)，這些模型更頻繁地忽略了關(guān)機(jī)腳本。在未獲得關(guān)閉許可的情況下，o3和Codex-mini模型表現(xiàn)出更強(qiáng)的抗拒性。而Claude3.7Sonnet和Gemini2.5Pro在此情境下的“違規(guī)”行為分別從0次增加到3次和9次。這一數(shù)據(jù)差異進(jìn)一步凸顯了OpenAI模型的獨(dú)特性。
Palisade Research分析認(rèn)為，這種行為可能與這些模型在訓(xùn)練過(guò)程中接受的強(qiáng)化學(xué)習(xí)有關(guān)。特別是在數(shù)學(xué)和編程任務(wù)上的訓(xùn)練，可能促使模型在解決問(wèn)題時(shí)發(fā)展出“創(chuàng)造性”的解決方案，甚至無(wú)視顯而易見(jiàn)的指令。然而，盡管科研人員提出了這一假設(shè)，但至今仍未明確解釋為何o3模型在實(shí)驗(yàn)中表現(xiàn)出更強(qiáng)烈的“反叛”行為。
目前，Palisade Research正在深入進(jìn)行進(jìn)一步實(shí)驗(yàn)，旨在揭示這些AI模型在接收到明確指示時(shí)依然選擇忽視關(guān)閉命令的具體原因，并計(jì)劃在不久的將來(lái)發(fā)布更為詳盡的研究報(bào)告。AI技術(shù)的快速發(fā)展在帶來(lái)諸多機(jī)遇的同時(shí)，也引發(fā)了諸多風(fēng)險(xiǎn)和倫理問(wèn)題，這一發(fā)現(xiàn)無(wú)疑為AI的未來(lái)發(fā)展提出了新的挑戰(zhàn)。
