OpenAI近日在醫(yī)療健康領(lǐng)域邁出了重要一步，宣布推出并開源了專為醫(yī)療大模型設(shè)計的測試評估集——HealthBench。這一舉措旨在更精確地評估AI系統(tǒng)在醫(yī)療健康領(lǐng)域的表現(xiàn)。
與以往的測試集相比，HealthBench在多個維度上實(shí)現(xiàn)了突破。其核心測試對話集由262名醫(yī)生精心打造，他們來自60個國家和地區(qū)的26個專業(yè)，確保了測試內(nèi)容的難度、真實(shí)性和豐富性。這些醫(yī)生的專業(yè)背景使得HealthBench能夠覆蓋廣泛的健康場景和行為維度。
具體而言，HealthBench包含了48562個獨(dú)特的醫(yī)生評分標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)不僅涵蓋了緊急情況和全球健康等多個健康背景，還涉及準(zhǔn)確性、遵循指示和溝通等多個行為維度。這種開放式評估方式，使得HealthBench能夠更全面地反映AI系統(tǒng)在醫(yī)療場景中的實(shí)際應(yīng)用能力。
HealthBench在測試方式上也有所創(chuàng)新。它采用了多輪對話測試，而非簡單的答題或選擇題模式。這種測試方式更貼近真實(shí)醫(yī)療場景中的對話交流，有助于更準(zhǔn)確地評估AI系統(tǒng)的理解和應(yīng)對能力。
測試數(shù)據(jù)顯示，HealthBench的推出對AI系統(tǒng)在醫(yī)療保健領(lǐng)域的表現(xiàn)產(chǎn)生了積極影響。例如，GPT-3.5Turbo在HealthBench上的得分從16%提升至GPT-4o的32%，而更先進(jìn)的o3模型則達(dá)到了60%的得分，整體性能有了顯著提升。尤其是小型模型方面，GPT-4.1nano不僅在性能上超越了GPT-4o，而且在成本上降低了25倍，展現(xiàn)了巨大的潛力和價值。
