【ITBEAR】近日，一項(xiàng)突破性的研究成果在人工智能領(lǐng)域引起了廣泛關(guān)注。由北京大學(xué)、清華大學(xué)、鵬城實(shí)驗(yàn)室、阿里巴巴達(dá)摩院以及美國理海大學(xué)聯(lián)手打造的LLaVA-o1模型，正式面世。這款模型被譽(yù)為首個(gè)能夠自發(fā)進(jìn)行系統(tǒng)性推理的視覺語言模型，其功能與GPT-o1模型相類似，但在視覺處理方面實(shí)現(xiàn)了新的飛躍。
LLaVA-o1是一款新型視覺語言模型（VLM），其核心設(shè)計(jì)理念是實(shí)現(xiàn)自主多階段推理。該模型擁有驚人的110億個(gè)參數(shù)，是基于Llama-3.2-Vision-Instruct模型進(jìn)一步開發(fā)而來。為了提升其推理能力，研究者們精心設(shè)計(jì)了四個(gè)推理階段：總結(jié)（summary）、描述（caption）、推理（reasoning）和結(jié)論（conclusion）。
在訓(xùn)練過程中，LLaVA-o1使用了名為LLaVA-o1-100k的數(shù)據(jù)集進(jìn)行微調(diào)。這一數(shù)據(jù)集結(jié)合了視覺問答（VQA）資源和GPT-4o生成的結(jié)構(gòu)化推理注釋，為模型的推理能力提供了強(qiáng)有力的支持。
LLaVA-o1的創(chuàng)新之處在于其采用的階段級束搜索（stage-level beam search）技術(shù)。這一技術(shù)使得模型能夠在每個(gè)推理階段生成多個(gè)候選答案，并從中選擇出最優(yōu)解。這一特性使得LLaVA-o1在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出色，突破了傳統(tǒng)視覺語言模型的局限性。
在實(shí)際測試中，LLaVA-o1展現(xiàn)了其強(qiáng)大的多模態(tài)推理能力。與基礎(chǔ)模型相比，該模型在多模態(tài)推理基準(zhǔn)測試中性能提升了8.9%，超越了眾多大型且閉源的競爭對手。特別是在復(fù)雜視覺問答任務(wù)中，LLaVA-o1的表現(xiàn)尤為突出。
LLaVA-o1的推出還填補(bǔ)了文本和視覺問答模型之間的空白。在多個(gè)基準(zhǔn)測試中，該模型均表現(xiàn)出色，特別是在數(shù)學(xué)和科學(xué)視覺問題的推理領(lǐng)域。這一成果充分展示了結(jié)構(gòu)化推理在視覺語言模型中的重要性。
LLaVA-o1還涉及到一個(gè)新的概念——自發(fā)性人工智能（Spontaneous AI）。這一概念旨在模擬動(dòng)物的自發(fā)行為，通過機(jī)器學(xué)習(xí)和復(fù)雜的時(shí)間模式來設(shè)計(jì)具有自發(fā)行為的智能系統(tǒng)。LLaVA-o1在這一領(lǐng)域邁出了重要的一步，為實(shí)現(xiàn)更加智能、自主的人工智能系統(tǒng)奠定了堅(jiān)實(shí)的基礎(chǔ)。
