近期，耶魯大學(xué)攜手劍橋大學(xué)及達(dá)特茅斯學(xué)院，在醫(yī)療人工智能領(lǐng)域取得了突破性進(jìn)展，聯(lián)合發(fā)布了一款名為MindLLM的創(chuàng)新工具。這款A(yù)I工具能夠?qū)?fù)雜的腦部功能性磁共振成像（fMRI）數(shù)據(jù)轉(zhuǎn)化為清晰可讀的文字信息，其性能在多項(xiàng)基準(zhǔn)測試中超越了現(xiàn)有的UMBRAE、BrainChat和UniBrain等技術(shù)。
MindLLM的核心架構(gòu)融合了fMRI編碼器與大型語言模型，具備強(qiáng)大的數(shù)據(jù)分析能力。它通過解析fMRI掃描中的立體像素（Voxels），深入解讀腦部活動(dòng)模式。該工具的fMRI編碼器采用了先進(jìn)的神經(jīng)科學(xué)注意力機(jī)制，能夠靈活適應(yīng)多樣化的輸入信號(hào)形態(tài)，從而高效完成多種分析任務(wù)。
為了進(jìn)一步提升MindLLM的性能，研究團(tuán)隊(duì)引入了創(chuàng)新的腦部指令調(diào)優(yōu)（BIT）方法。這一方法顯著增強(qiáng)了模型從fMRI信號(hào)中提取豐富語義信息的能力，使其能夠勝任圖像描述、問答推理等多種解碼任務(wù)，展現(xiàn)出廣泛的應(yīng)用潛力。
在嚴(yán)格的基準(zhǔn)測試中，MindLLM展現(xiàn)出了卓越的表現(xiàn)。在文字解碼、跨個(gè)體泛化以及新任務(wù)適應(yīng)性等方面，相較于業(yè)界現(xiàn)有模型，其性能提升幅度分別高達(dá)12.0%、16.4%和25.0%。這一結(jié)果表明，MindLLM在適應(yīng)新受試者以及處理未知語言推理任務(wù)時(shí)，均展現(xiàn)出了優(yōu)于傳統(tǒng)模型的顯著優(yōu)勢。
盡管目前MindLLM僅能分析靜態(tài)圖像信號(hào)，但研究人員對(duì)其未來發(fā)展前景充滿信心。他們表示，通過持續(xù)的改進(jìn)和優(yōu)化，MindLLM有望發(fā)展成為實(shí)時(shí)fMRI解碼器，并在神經(jīng)控制、腦機(jī)接口以及認(rèn)知神經(jīng)科學(xué)等領(lǐng)域發(fā)揮重要作用。這一創(chuàng)新技術(shù)有望為神經(jīng)假肢修復(fù)感知能力、精神狀態(tài)監(jiān)控以及腦機(jī)交互等應(yīng)用帶來革命性的突破。
