人工智能巨頭OpenAI近日公布了一項(xiàng)重要安全舉措，針對(duì)其最新研發(fā)的人工智能推理模型o3和o4-mini，部署了一套全新的監(jiān)控系統(tǒng)。這一系統(tǒng)的主要目的是防范模型提供可能引發(fā)生物和化學(xué)威脅的有害信息。
據(jù)OpenAI的安全報(bào)告顯示，隨著o3和o4-mini模型能力的顯著提升，也帶來(lái)了新的安全隱患。特別是o3模型，在OpenAI的內(nèi)部基準(zhǔn)測(cè)試中展現(xiàn)出對(duì)制造某些類(lèi)型生物威脅問(wèn)題的高度敏感性。為此，OpenAI開(kāi)發(fā)了名為“安全導(dǎo)向推理監(jiān)控器”的新系統(tǒng)，旨在確保模型不會(huì)為潛在的有害行為提供指導(dǎo)。
這套監(jiān)控器經(jīng)過(guò)專(zhuān)門(mén)訓(xùn)練，能夠深入理解OpenAI的內(nèi)容政策，并實(shí)時(shí)運(yùn)行在o3和o4-mini模型之上。它的核心功能是識(shí)別與生物和化學(xué)風(fēng)險(xiǎn)相關(guān)的提示詞，一旦檢測(cè)到這些關(guān)鍵詞，就會(huì)指示模型拒絕提供任何相關(guān)建議。
為了驗(yàn)證監(jiān)控器的有效性，OpenAI的紅隊(duì)成員投入了大量時(shí)間進(jìn)行標(biāo)記工作，他們標(biāo)記了o3和o4-mini中與生物風(fēng)險(xiǎn)相關(guān)的“不安全”對(duì)話(huà)樣本。在模擬測(cè)試中，監(jiān)控器展現(xiàn)出了出色的性能，成功阻斷了98.7%的風(fēng)險(xiǎn)提示。然而，OpenAI也坦誠(chéng)地指出，測(cè)試并未涵蓋用戶(hù)嘗試新提示詞以規(guī)避監(jiān)控的情況，因此仍需依賴(lài)部分人工監(jiān)控來(lái)彌補(bǔ)這一潛在漏洞。
盡管o3和o4-mini尚未達(dá)到OpenAI設(shè)定的生物風(fēng)險(xiǎn)“高風(fēng)險(xiǎn)”閾值，但與早期的o1模型和GPT-4相比，它們?cè)诨卮鹩嘘P(guān)開(kāi)發(fā)生物武器的問(wèn)題上表現(xiàn)出了更高的幫助性。這引起了OpenAI的高度關(guān)注，公司正在積極跟蹤其模型可能如何被惡意用戶(hù)利用，以開(kāi)發(fā)化學(xué)和生物威脅。
OpenAI在降低模型風(fēng)險(xiǎn)方面正越來(lái)越多地依賴(lài)自動(dòng)化系統(tǒng)。例如，為了防止GPT-4o的原生圖像生成器創(chuàng)建兒童性虐待材料（CSAM），OpenAI同樣采用了與o3和o4-mini相似的推理監(jiān)控器技術(shù)。
然而，并非所有人都對(duì)OpenAI的安全措施持樂(lè)觀態(tài)度。一些研究人員對(duì)OpenAI的安全承諾表示質(zhì)疑，認(rèn)為公司在安全問(wèn)題上的重視程度并未達(dá)到人們的期望。特別是OpenAI的紅隊(duì)合作伙伴Metr，他們?cè)跍y(cè)試o3的欺騙性行為基準(zhǔn)時(shí)面臨時(shí)間限制，這引發(fā)了他們對(duì)測(cè)試充分性的擔(dān)憂(yōu)。OpenAI決定不為其最新發(fā)布的GPT-4.1模型發(fā)布安全報(bào)告，這一舉動(dòng)也引發(fā)了一些爭(zhēng)議。
盡管存在這些質(zhì)疑，OpenAI仍然堅(jiān)持其安全導(dǎo)向的原則，并不斷努力提升模型的安全性能。隨著人工智能技術(shù)的不斷發(fā)展，如何在提升模型能力的同時(shí)確保安全性，將是OpenAI等人工智能公司面臨的重要挑戰(zhàn)。
同時(shí)，OpenAI也呼吁社會(huì)各界共同關(guān)注人工智能的安全問(wèn)題，加強(qiáng)合作與交流，共同推動(dòng)人工智能技術(shù)的健康發(fā)展。
