近日,通義千問團(tuán)隊(duì)震撼發(fā)布Qwen3系列大型語(yǔ)言模型,標(biāo)志著該團(tuán)隊(duì)在人工智能領(lǐng)域的又一重大突破。Qwen3在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)出了卓越性能,特別是在代碼理解、數(shù)學(xué)運(yùn)算及通用知識(shí)應(yīng)用方面,與業(yè)界頂尖模型如DeepSeek-R1、o1、o3-mini、Grok-3和Gemini-2.5-Pro相比,毫不遜色。
值得注意的是,Qwen3系列中的小型MoE模型Qwen3-30B-A3B,盡管其激活參數(shù)數(shù)量?jī)H為QwQ-32B的十分之一,但其表現(xiàn)卻更為出色。而Qwen3-4B這樣的小型模型,在性能上也能與Qwen2.5-72B-Instruct相媲美。為了促進(jìn)學(xué)術(shù)研究與工業(yè)應(yīng)用,通義千問團(tuán)隊(duì)此次開源了兩個(gè)MoE模型權(quán)重:一個(gè)是擁有超過2350億總參數(shù)和220多億激活參數(shù)的大型模型Qwen3-235B-A22B,另一個(gè)是總參數(shù)約300億、激活參數(shù)約30億的小型模型Qwen3-30B-A3B。六個(gè)Dense模型也已同步在Apache2.0許可下開源。
Qwen3系列模型引入了獨(dú)特的思考模式,分為思考模式與非思考模式。在思考模式下,模型會(huì)進(jìn)行逐步推理,深思熟慮后給出答案,尤其適合處理復(fù)雜問題;而在非思考模式下,模型則提供快速響應(yīng),適用于簡(jiǎn)單問題。這種雙模式設(shè)計(jì),讓用戶能夠根據(jù)不同任務(wù)需求,靈活調(diào)整模型的“思考”程度,實(shí)現(xiàn)高效的“思考預(yù)算”管理。
Qwen3系列還支持多達(dá)119種語(yǔ)言和方言,為國(guó)際應(yīng)用提供了廣闊空間。其預(yù)訓(xùn)練數(shù)據(jù)集相較于Qwen2.5有了顯著擴(kuò)展,涵蓋了約36萬(wàn)億個(gè)token,涉及119種語(yǔ)言和方言。預(yù)訓(xùn)練過程經(jīng)過精心設(shè)計(jì),分為三個(gè)階段,確保模型能夠高效處理長(zhǎng)輸入。
為了打造兼具思考推理與快速響應(yīng)能力的混合模型,Qwen3采用了四階段訓(xùn)練流程。從長(zhǎng)思維鏈冷啟動(dòng),到長(zhǎng)思維鏈強(qiáng)化學(xué)習(xí),再到思維模式融合,最終通過通用強(qiáng)化學(xué)習(xí)進(jìn)一步提升模型能力。這一流程不僅賦予了模型基本的推理能力,還顯著增強(qiáng)了其通用性。
Qwen3的發(fā)布與開源,無疑將為大型基礎(chǔ)模型的研究與開發(fā)注入強(qiáng)大動(dòng)力。通義千問團(tuán)隊(duì)致力于賦能全球研究人員、開發(fā)者和組織,助力他們利用這些前沿模型,探索創(chuàng)新解決方案。
目前,Qwen3系列模型已在Hugging Face、ModelScope和Kaggle等平臺(tái)上線,用戶可輕松將其集成至研究、開發(fā)或生產(chǎn)環(huán)境中。對(duì)于想要深入了解或體驗(yàn)Qwen3的用戶,可通過以下鏈接獲取更多信息:
Hugging Face平臺(tái):https://huggingface.co/Qwen/Qwen3-235B-A22B
魔搭社區(qū):https://modelscope.cn/models/Qwen/Qwen3-235B-A22B
Qwen Chat平臺(tái):https://chat.qwen.ai
阿里云百煉平臺(tái)(即將上線,提供100萬(wàn)tokens免費(fèi)體驗(yàn)):https://www.aliyun.com/product/tongyi