Hugging Face近期震撼發(fā)布了SmolLM3，一款輕量級(jí)大語言模型，憑借其30億參數(shù)的高效設(shè)計(jì)與卓越性能，迅速吸引了業(yè)界的廣泛關(guān)注。這款模型在多個(gè)基準(zhǔn)測試中，不僅超越了同級(jí)別的Llama-3.2-3B和Qwen2.5-3B，甚至與擁有40億參數(shù)的Gemma3模型不相上下。
SmolLM3，作為解碼器專用的Transformer模型，采用了創(chuàng)新的分組查詢注意力（GQA）和NoPE技術(shù)，這些優(yōu)化措施使其在保持高效推理的同時(shí)，也具備了處理長上下文的能力。模型在包含網(wǎng)頁、代碼、數(shù)學(xué)和推理數(shù)據(jù)的多樣化11.2萬億token數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使其在多個(gè)領(lǐng)域展現(xiàn)出強(qiáng)大的表現(xiàn)。
尤為SmolLM3引入了雙模式推理功能，即“思考”和“非思考”模式。在復(fù)雜任務(wù)中，開啟思考模式的SmolLM3表現(xiàn)出顯著提升，如在AIME2025、LiveCodeBench和GPQA Diamond等測試中，其性能均優(yōu)于非思考模式。這種靈活的推理模式，使得SmolLM3能夠根據(jù)任務(wù)需求動(dòng)態(tài)調(diào)整，兼顧速度與深度推理。
在處理長上下文方面，SmolLM3同樣表現(xiàn)出色。訓(xùn)練時(shí)支持64K上下文，并通過YaRN技術(shù)可擴(kuò)展至128K token。模型原生支持六種語言，并在其他語言上也進(jìn)行了少量訓(xùn)練，展現(xiàn)出優(yōu)異的多語言能力。在Global MMLU和Flores-200等測試中，SmolLM3的多語言能力均位居同級(jí)別模型前列。
Hugging Face一貫堅(jiān)持開源精神，此次不僅公開了SmolLM3的模型權(quán)重，還完整開源了訓(xùn)練數(shù)據(jù)混合、訓(xùn)練配置和代碼。開發(fā)者可通過Hugging Face的smollm存儲(chǔ)庫獲取相關(guān)資料，這種透明的“訓(xùn)練藍(lán)圖”極大地降低了學(xué)術(shù)研究和商業(yè)應(yīng)用的門檻。
SmolLM3專為高效推理而設(shè)計(jì)，采用分組查詢注意力機(jī)制顯著減少了推理時(shí)的KV緩存占用。結(jié)合WebGPU支持，使其非常適合在瀏覽器或邊緣設(shè)備上運(yùn)行。相較于更大規(guī)模的模型，SmolLM3在性能與計(jì)算成本之間找到了平衡點(diǎn)，為教育、編碼、客戶支持等場景提供了高性價(jià)比的解決方案。
SmolLM3的發(fā)布，標(biāo)志著小規(guī)模語言模型在性能與效率上取得了重大突破。其開源特性、長上下文支持和多語言能力，使其成為學(xué)術(shù)研究、初創(chuàng)公司和中小型企業(yè)的理想選擇。無論是開發(fā)者還是企業(yè)用戶，這款高效、多功能的模型無疑將為他們帶來新的機(jī)遇和挑戰(zhàn)。
Hugging Face通過開源SmolLM3的訓(xùn)練細(xì)節(jié)和數(shù)據(jù)，為行業(yè)樹立了透明與協(xié)作的典范。我們期待看到這款模型在更多實(shí)際場景中的應(yīng)用表現(xiàn)，并期待其后續(xù)的更新與發(fā)展。
