近日，meta公司高層親自出面，對(duì)圍繞其最新AI模型的一則不實(shí)傳聞進(jìn)行了澄清。傳聞聲稱(chēng)，meta在推出Llama 4 Maverick和Llama 4 Scout模型時(shí)，采取了不當(dāng)手段，即在基準(zhǔn)測(cè)試的“測(cè)試集”上進(jìn)行了額外訓(xùn)練，以提升模型測(cè)試表現(xiàn)，并隱瞞了模型的不足。
meta公司生成式人工智能部門(mén)的副總裁艾哈邁德·阿爾·達(dá)赫勒，在社交平臺(tái)X上發(fā)表聲明，堅(jiān)決否認(rèn)了這一說(shuō)法，稱(chēng)其為“毫無(wú)根據(jù)的謠言”。
在AI領(lǐng)域，測(cè)試集是專(zhuān)門(mén)用于評(píng)估模型訓(xùn)練后性能的數(shù)據(jù)集。若模型在測(cè)試集上進(jìn)行訓(xùn)練，將會(huì)人為地提高基準(zhǔn)測(cè)試分?jǐn)?shù)，導(dǎo)致模型的實(shí)際能力被夸大。
傳聞的起因，部分源于Maverick和Scout在某些任務(wù)上的不盡如人意，以及meta選擇在基準(zhǔn)測(cè)試平臺(tái)LM Arena上使用未發(fā)布的實(shí)驗(yàn)版本Maverick以獲得更好成績(jī)的決定。研究人員發(fā)現(xiàn)，公開(kāi)下載的Maverick版本與LM Arena上的版本在行為上存在顯著差異，這進(jìn)一步加劇了傳聞的流傳。
針對(duì)這一情況，阿爾·達(dá)赫勒承認(rèn)，部分用戶在通過(guò)不同云服務(wù)提供商使用Maverick和Scout模型時(shí)，確實(shí)遇到了“質(zhì)量差異”的問(wèn)題。他解釋說(shuō)：“我們急于將模型發(fā)布出去，因此預(yù)計(jì)需要幾天時(shí)間才能確保所有公開(kāi)版本都調(diào)整到位。目前，我們正在積極進(jìn)行錯(cuò)誤修復(fù)，并與合作伙伴緊密協(xié)作。”
阿爾·達(dá)赫勒進(jìn)一步強(qiáng)調(diào)，meta始終致力于提供高質(zhì)量的AI模型，對(duì)于此次出現(xiàn)的誤解和不便，公司深感歉意，并將繼續(xù)努力提升用戶體驗(yàn)。
