影片・音聲視聽時的「腦反應」預測──Meta開發的腦活動預測AI「TRIBE v2」的可能性

🔑 增強重點摘要

• •TRIBE v2 採用了自監督學習（Self-supervised learning）架構，利用大規模多模態數據集進行預訓練，使其能夠在無需特定任務微調的情況下，泛化至多種神經影像數據集。
• •該模型不僅限於預測大腦活動，還能作為神經科學研究的「虛擬受試者」，透過模擬不同刺激下的神經反應，顯著降低了進行功能性磁振造影（fMRI）或腦磁圖（MEG）實驗的時間與經濟成本。
• •研究顯示 TRIBE v2 在處理複雜的自然場景（如電影片段）時，對於視覺皮層與聽覺皮層的反應預測準確度，已超越了傳統基於單一模態的編碼模型（Encoding models）。

🛠️ 技術深入

• •架構基礎：基於 Transformer 的多模態編碼器，整合了視覺（Vision Transformer）、音訊（Audio Spectrogram Transformer）與語言（LLM 嵌入）的特徵提取器。
• •訓練目標：透過對齊多模態輸入與人類大腦神經活動數據（如 fMRI 的體素反應），最小化預測誤差。
• •數據來源：利用公開的神經影像數據庫（如 NSD - Natural Scenes Dataset）進行對齊訓練，並結合大規模未標註的影音數據進行預訓練。
• •輸出層：設計了針對不同腦區的解碼頭（Decoding heads），能夠將高維特徵映射至大腦皮層的特定功能區域。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線