【ITBEAR科技資訊】3月31日消息，近日，Databricks發(fā)布了一款全新的通用大語言模型DBRX，被譽(yù)為“當(dāng)前最強(qiáng)開源AI”。據(jù)悉，在各種嚴(yán)格的基準(zhǔn)測試中，該模型的表現(xiàn)均超越了“市面上所有的開源模型”。
DBRX是一款基于Transformer架構(gòu)的大語言模型，它采用了先進(jìn)的MoE(Mixture of Experts)技術(shù)，并配備了驚人的1320億個(gè)參數(shù)。更該模型在龐大的12T Token源數(shù)據(jù)上進(jìn)行了深入的預(yù)訓(xùn)練。
據(jù)ITBEAR科技資訊了解，研究人員對DBRX進(jìn)行了全面的測試。與LLaMA2-70B、Mixtral、Grok-1等市場上主流的開源模型相比，DBRX在語言理解(MMLU)、程式設(shè)計(jì)(Humaneval)以及數(shù)學(xué)邏輯(GSM8K)等多個(gè)關(guān)鍵基準(zhǔn)測試上均展現(xiàn)出了卓越的性能。DBRX在上述三項(xiàng)基準(zhǔn)測試中的表現(xiàn)甚至超越了行業(yè)巨頭OpenAI的GPT-3.5。
Databricks AI部門副總裁Naveen Rao向知名科技媒體TechCrunch透露，DBRX的研發(fā)過程歷時(shí)兩個(gè)月，并投入了高達(dá)1000萬美元的成本。雖然DBRX在各項(xiàng)測試中取得了令人矚目的成績，但目前該模型仍需要使用四塊英偉達(dá)H100 GPU才能運(yùn)行，這意味著在未來仍有進(jìn)一步的優(yōu)化空間。
