在AI編程領(lǐng)域，一場關(guān)于模型能力評估的變革正在悄然進行。近日，字節(jié)跳動旗下的豆包大模型團隊攜手M-A-P開源社區(qū)，共同推出了一個名為FullStack Bench的全新代碼評估基準(zhǔn)，旨在更全面地衡量大模型在真實世界中的代碼開發(fā)能力。
FullStack Bench的出現(xiàn)，是對當(dāng)前代碼評估基準(zhǔn)的一次重要升級。以往，諸如Humaneval和MBPP等主流評測集，大多聚焦于基礎(chǔ)編程和高級編程問題，而DS-1000則更側(cè)重于數(shù)據(jù)分析和機器學(xué)習(xí)任務(wù)，且僅針對Python語言。xCodeeval雖然覆蓋的任務(wù)類型較多，但也基本局限于高級編程和數(shù)學(xué)領(lǐng)域。這些評測集在應(yīng)用類型和編程語言上的局限性，使得它們難以充分反映真實世界代碼開發(fā)場景的多樣性和復(fù)雜性。
為了打造一個更貼近真實全棧開發(fā)環(huán)境的評估基準(zhǔn)，豆包大模型團隊與M-A-P開源社區(qū)從全球最大的程序員技術(shù)問答社區(qū)Stack Overflow中抽取了海量問題進行分析。經(jīng)過嚴(yán)格的篩選和調(diào)整，他們最終確定了超過11種應(yīng)用場景，并構(gòu)建了包含3374個問題的FullStack Bench數(shù)據(jù)集。這些問題不僅涵蓋了編程全棧技術(shù)中的多個真實場景，還涉及16種編程語言，從而能夠更有效地評估大模型在現(xiàn)實世界中的代碼開發(fā)能力。
在FullStack Bench數(shù)據(jù)集中，每個問題都包含了題目描述、參考解決方案及單元測試用例，總計15168個單元測試。為確保評估的準(zhǔn)確性，這些問題均由相關(guān)領(lǐng)域的編程專家精心設(shè)計，并經(jīng)過AI和人工的雙重驗證。豆包大模型團隊還根據(jù)主流代碼大模型的測試結(jié)果，對數(shù)據(jù)集進行了進一步的交叉評估和完善，以確保其質(zhì)量和實用性。
除了FullStack Bench數(shù)據(jù)集外，豆包大模型團隊還開源了一款名為SandboxFusion的代碼沙盒執(zhí)行工具。這款工具能夠高效地評估來自不同語言的不同編程任務(wù)，并兼容超過10種廣泛使用的代碼評估數(shù)據(jù)集，支持23種編程語言。開發(fā)者只需在單服務(wù)器上即可輕松部署SandboxFusion，也可直接在GitHub上進行體驗，從而大大簡化了對大模型代碼能力的系統(tǒng)性測試過程。
在發(fā)布FullStack Bench數(shù)據(jù)集和SandboxFusion工具的同時，字節(jié)代碼大模型也首次亮相。豆包大模型團隊對全球20余款代碼大模型及語言大模型的編程表現(xiàn)進行了評測，其中包括他們自研的豆包代碼大模型Doubao-Coder。這一評測結(jié)果不僅展示了豆包大模型在編程能力上的優(yōu)勢，也彰顯了字節(jié)跳動在代碼大模型領(lǐng)域的深厚積累和快速進步。
事實上，近半年來，字節(jié)跳動在代碼大模型領(lǐng)域取得了顯著進展。今年6月，他們發(fā)布了由自研代碼基座模型支撐的AI編程助手豆包MarsCode。這款助手能夠為用戶提供高質(zhì)量的代碼生成服務(wù)，目前每月已為用戶貢獻百萬量級的代碼量。FullStack Bench數(shù)據(jù)集和SandboxFusion工具的推出，無疑將進一步推動字節(jié)跳動在代碼大模型領(lǐng)域的創(chuàng)新和發(fā)展。
