耶魯大學聯(lián)合劍橋大學、達特茅斯學院研究人員，共同推出一款名為 MindLLM 的醫(yī)療行業(yè) AI 工具，該工具能夠?qū)⒛X部功能性磁共振成像（fMRI）數(shù)據(jù)轉(zhuǎn)化為文字，在多個基準測試中，表現(xiàn)優(yōu)于業(yè)界 UMBRAE、BrainChat、UniBrain 等技術(shù)。

據(jù)介紹，MindLLM 由 fMRI 編碼器和大型語言模型組成，能夠分析 fMRI 掃描中的立體像素（Voxels）來解讀腦部活動。其 fMRI 編碼器采用了神經(jīng)科學注意力機制，能夠適應不同輸入信號的形狀，從而實現(xiàn)多種分析任務。

研究團隊還為相應工具引入了腦部指令調(diào)優(yōu)（BIT）方法，增強了模型從 fMRI 信號中提取多種語義信息的能力，使其能夠執(zhí)行圖像描述、問答推理等多種解碼任務。

測試結(jié)果顯示，在文字解碼、跨個體泛化和新任務適應性等基準測試中，MindLLM 相對業(yè)界模型至高提高了 12.0%、16.4% 和 25.0%，證明其在適應新受試者和處理未知語言推理方面均優(yōu)于傳統(tǒng)模型。

不過，研究人員提到目前該模型僅能分析靜態(tài)圖像信號，未來如果進一步改進，有望發(fā)展成實時 fMRI 解碼器，并廣泛應用于神經(jīng)控制、腦機接口和認知神經(jīng)科學等領域，對神經(jīng)假肢修復感知能力、精神狀態(tài)監(jiān)控以及腦機交互等應用帶來積極影響。

目前，相應論文已發(fā)布在 ArXiv 上，IT之家附論文地址（點此訪問）。