在AI領域，小紅書以其獨特的方式加入了這場激烈的競賽。近日，小紅書人文智能實驗室（Humane Intelligence Lab，簡稱hi lab）宣布開源了其首個多模態大模型——dots.vlm1。這款模型不僅在視覺理解和推理任務上表現出色，還展示了強大的文本處理能力，讓業界為之矚目。
dots.vlm1基于hi lab自研的12億參數NaViT視覺編碼器和DeepSeek V3大語言模型構建。在視覺評測集如MMMU、MathVision和OCR Reasoning上，dots.vlm1的整體表現接近當前領先的Gemini 2.5 Pro和Seed-VL1.5 Thinking模型，顯示出強大的圖文理解與推理能力。在文本推理任務上，dots.vlm1的表現也相當出色，盡管在數學和代碼能力上仍有提升空間。
hi lab近期在開源模型方面動作頻頻，先是dots.ocr文檔解析模型在Huggingface熱榜上沖到第七，緊接著dots.vlm1的發布更是引起了廣泛關注。這款多模態大模型的出現，不僅為小紅書在AI領域的布局增添了濃墨重彩的一筆，也為整個行業帶來了新的可能性。
在實測中，dots.vlm1展現了令人驚艷的能力。它能夠準確理解復雜圖表中的信息，如從圖表中提取特定分數和模型名稱的模型。在面對數獨問題時，dots.vlm1也能夠通過逐步試算和檢查，最終找到正確答案。它還能解決紅綠色盲數字問題，以及進行復雜的數學計算和邏輯推理。
dots.vlm1的強大不僅體現在視覺和推理能力上，它還展示了出色的文本生成能力。例如，在模仿李白詩詞風格寫詩的任務中，dots.vlm1不僅把握住了問題的精髓，還創作出了一首意境深遠、韻味十足的詩句。這充分證明了dots.vlm1在理解和生成文本方面的卓越能力。
hi lab在開發dots.vlm1時，采用了三階段訓練流程。首先是對視覺編碼器進行預訓練，旨在最大化對多樣視覺數據的感知能力。其次是將視覺編碼器與大語言模型聯合訓練，增強多模態能力。最后是通過有監督微調增強模型的泛化能力。這種訓練策略使得dots.vlm1在視覺和文本處理方面都達到了較高水平。
hi lab在開發NaViT視覺編碼器時，選擇了從零開始訓練的方式，而不是基于成熟視覺編碼器進行微調。這種做法使得NaViT編碼器原生支持動態分辨率，能夠處理高分辨率輸入，為視覺語言模型的設計提供了有力支持。
小紅書作為一個內容分享平臺，為何會投入大量資源自研多模態大模型呢？這背后有著深刻的戰略考量。多模態AI模擬了人類利用多種感官綜合感知世界的方式，能夠形成更全面、細致的理解。在自動駕駛、具身智能等領域，多模態AI正成為企業升級的主戰場。小紅書希望通過自研多模態大模型，提升對海量圖文內容的理解能力，實現更精準的個性化推薦，同時探索未來AI在社區交互中的應用。
從dots.llm1到dots.ocr，再到dots.vlm1，小紅書人文智能實驗室的dots模型家族正在不斷壯大。這些模型的推出不僅展示了小紅書在AI技術自研方面的決心和實力，也為整個行業帶來了新的思考和啟示。未來，隨著dots模型家族的不斷完善和發展，我們有理由相信小紅書將在AI領域取得更加輝煌的成就。
