AI讀心重磅突破登Nature！大腦信號1秒被看穿，還能預(yù)測未來畫面

來源：新智元

導(dǎo)讀

最近，來自洛桑聯(lián)邦理工學(xué)院的研究團(tuán)隊提出了一種全新的方法，可以用AI從大腦信號中提取視頻畫面。論文已登Nature，卻遭網(wǎng)友瘋狂「打假」。

現(xiàn)在，AI不僅會讀腦，還會預(yù)測下一個畫面了！

利用AI，一個研究團(tuán)隊「看見」了老鼠眼中的電影世界。

更神奇的是，這種機(jī)器學(xué)習(xí)算法，還能揭示大腦記錄數(shù)據(jù)中隱藏的結(jié)構(gòu)，預(yù)測復(fù)雜的信息，比如老鼠會看到的東西。

給一段上世紀(jì)60年代黑白老電影中截取的視頻畫面：一個男子向汽車跑去，打開了后備箱。

小鼠看過電影片段后，AI通過分析其腦部數(shù)據(jù)，竟把畫面重構(gòu)出來了。

可以說，幾乎與電影原作一致，是不是很神奇？

近日，來自瑞士洛桑聯(lián)邦理工學(xué)院的團(tuán)隊在Nature上提出了一種名為CEBRA的最新算法，就把AI讀腦給實(shí)現(xiàn)了。

最最最重要的是，準(zhǔn)確率超過了95%！

論文地址：https://www.nature.com/articles/s41586-023-06031-6

這一人工神經(jīng)網(wǎng)絡(luò)模型僅用了三步，首先分析和解釋行為/神經(jīng)數(shù)據(jù)，然后解碼來自視覺皮層的活動，最后重建觀看的視頻。

CEBRA的意義在于，能夠?qū)碜砸曈X皮層的視頻進(jìn)行快速、高精度的解碼，這對于理解人類大腦活動來說，意義重大。

網(wǎng)友調(diào)侃，各地的思想犯罪指數(shù)，會怎么樣？

CEBRA，從小鼠的大腦信號中預(yù)測電影

此前，這種「AI讀腦術(shù)」就曾在網(wǎng)上引發(fā)軒然大波。

一篇CVPR2023論文稱，Stable Diffusion已經(jīng)能重建大腦視覺信號了。

AI看了一眼人腦信號后，立馬就給出下面這樣的結(jié)果。

而在這次的研究中，科學(xué)家們更進(jìn)了一步，新算法構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)模型，不僅能捕捉大腦動態(tài)、準(zhǔn)確地重構(gòu)畫面，還能預(yù)測出小鼠能看到的東西。

另外，它還可以用來預(yù)測靈長類動物手臂的運(yùn)動，重建老鼠在場地中自由奔跑的位置。

這種新型的機(jī)器學(xué)習(xí)算法名為CEBRA (與zebra同音) ，能夠?qū)W習(xí)神經(jīng)代碼中的隱藏結(jié)構(gòu)。

為了了解小鼠視覺系統(tǒng)中的隱藏結(jié)構(gòu)，CEBRA可以在一個初始的訓(xùn)練階段后，直接從大腦信號中預(yù)測看不見的電影畫面，繪制大腦信號和電影特征。

具體來說，CEBRA是基于對比學(xué)習(xí)實(shí)現(xiàn)的一種機(jī)器學(xué)習(xí)算法。

CEBRA提供了三種不同的模式：1 假設(shè)驅(qū)動模式 2 發(fā)現(xiàn)驅(qū)動模式 3 混合模式

它能夠?qū)W習(xí)將高維數(shù)據(jù)排列或嵌入到一個稱為隱空間（latent space）的「低維空間」中。

這樣做就能夠?qū)崿F(xiàn)，相似的數(shù)據(jù)點(diǎn)緊密相連，而差異大的數(shù)據(jù)點(diǎn)就會進(jìn)一步分離。

這種嵌入模式可用于推斷數(shù)據(jù)中的隱藏關(guān)系和結(jié)構(gòu)。它使研究人員能夠同時考慮神經(jīng)數(shù)據(jù)和行為標(biāo)簽，包括運(yùn)動，抽象標(biāo)簽（如獎勵），或感官特征（如圖像顏色或紋理）。

老鼠「讀腦術(shù)」

怎樣將小鼠腦中的畫面重現(xiàn)呢？

研究者召集了50只小鼠，讓它們一起觀看一段30秒的電影片段，并將這個過程重復(fù)了9次。

在小鼠看電影時，研究者就會把探針插進(jìn)小鼠的大腦視覺皮層區(qū)域，收集它們的神經(jīng)元活動信號。這個過程，也就是我們熟悉的腦機(jī)接口（BMI）。

這個過程中用到的探針有兩種：

一種是通過插入小鼠大腦視覺皮層區(qū)域的電極探針直接測量，另一種是通過光學(xué)探針在基因改造的小鼠中獲取。這些光學(xué)探針經(jīng)過改造，使激活的神經(jīng)元發(fā)出綠光。

然后，研究者通過CEBRA，將這些神經(jīng)信號與600幀電影片段聯(lián)系起來，建立起兩者之間的映射。

有了前面9次觀看的記憶鞏固加強(qiáng)后，研究人員又讓小鼠觀看第10次，并收集了這一次觀看時的大腦活動數(shù)據(jù)。

基于這些大腦數(shù)據(jù)，研究人員測試了CEBRA在預(yù)測電影片段中畫面順序方面的能力。

結(jié)果發(fā)現(xiàn)，CEBRA能夠在1秒內(nèi)以95%的準(zhǔn)確率預(yù)測下一個畫面。

人類大腦，終極目標(biāo)

將行為動作映射到神經(jīng)活動，一直是神經(jīng)科學(xué)的一個基本目標(biāo)。

但是，研究者們一直缺乏可以靈活利用聯(lián)合行為和神經(jīng)數(shù)據(jù)揭示神經(jīng)動力學(xué)的非線性技術(shù)，而CEBRA算法，填補(bǔ)了這一空缺。

而且，CEBRA還可以用于空間映射，從而揭示復(fù)雜的運(yùn)動學(xué)特征，還能提供對來自視覺皮層的自然視頻的快速、高精度的解碼。

具體來說，研究者提出了一個聯(lián)合訓(xùn)練的潛在嵌入框架。

CEBRA利用用戶定義的標(biāo)簽或僅限時間的標(biāo)簽，獲得了一致的神經(jīng)活動嵌入，可用于可視化數(shù)據(jù)和解碼之類的下游任務(wù)。

這個算法基于的對比學(xué)習(xí)，正是利用相互對比的樣本（正樣本和負(fù)樣本）來找到共同屬性和區(qū)分屬性。

使用CEBRA實(shí)現(xiàn)一致且可解釋的嵌入

CEBRA的優(yōu)勢就在于它的靈活性，以及有限假設(shè)和檢驗假設(shè)的能力。

對于海馬體，可以假設(shè)這些神經(jīng)元代表空間，因此行為標(biāo)簽可以是位置或速度（圖2a）。

另外，還可以有一個替代假設(shè)：海馬體不映射空間，而只是映射行進(jìn)方向或其他一些特征。

使用CEBRA的假設(shè)和發(fā)現(xiàn)驅(qū)動分析

論文一作Steffen Schneider稱，與其他算法相比，CEBRA在重建合成數(shù)據(jù)方面表現(xiàn)出色，這對比較算法至關(guān)重要。

它的優(yōu)勢還在于，能夠跨不同模式組合數(shù)據(jù)，比如電影特征和大腦數(shù)據(jù)。它還有助于限制細(xì)微差別，比如收集數(shù)據(jù)收集方式對導(dǎo)致數(shù)據(jù)變化。

從小鼠視覺皮層區(qū)域解碼自然視頻特征

「這項工作朝著神經(jīng)技術(shù)實(shí)現(xiàn)高性能BMI所需的理論支持算法，又邁出了一步，」EPFL的Bertarelli綜合神經(jīng)科學(xué)主席兼該研究的PI Mackenzie Mathis說。

研究者稱，CEBRA在視覺皮層只有不到1%的神經(jīng)元的情況下表現(xiàn)良好。要知道小鼠的大腦大約有50萬個神經(jīng)元組成。

CEBRA的最終目標(biāo)，是揭示復(fù)雜系統(tǒng)中的結(jié)構(gòu)。由于大腦是我們宇宙中最復(fù)雜的結(jié)構(gòu)，它是CEBRA的終極測試空間。

CEBRA還可以讓我們了解大腦是如何處理信息的，并通過整合動物，甚至其他物種的數(shù)據(jù)，為發(fā)現(xiàn)神經(jīng)科學(xué)的新原理提供一個平臺。

當(dāng)然，CEBRA算法并不僅限于神經(jīng)科學(xué)研究，因為它可以應(yīng)用于許多涉及時間或聯(lián)合信息的數(shù)據(jù)集，包括動物行為和基因表達(dá)數(shù)據(jù)。因此，CEBRA潛在的臨床應(yīng)用令人興奮。

網(wǎng)友質(zhì)疑：這能叫讀心術(shù)？

網(wǎng)友稱，AI重現(xiàn)大腦畫面的研究，這不是首次。

在11年，UC伯克利的一項研究使用功能磁共振成像（fMRI）和計算模型，初步重建了大腦的「動態(tài)視覺圖像」。

也就是說，研究者重現(xiàn)了人類大腦看過的片段，但幾乎是無法辨認(rèn)。

不過，對于這項AI解析小鼠大腦信號、成功重構(gòu)出觀看的電影片段，網(wǎng)友紛紛表示質(zhì)疑。

「我并非想貶低這項出色的工作，但這不是從老鼠看到的東西中創(chuàng)造視頻，而是匹配哪一幀視頻最符合模型解釋當(dāng)前幀的內(nèi)容，所以......它不是產(chǎn)生視頻數(shù)據(jù)，而是一個幀號，然后在屏幕上顯示該幀。這個區(qū)別很微妙，但很重要。」

同樣看過視頻后的網(wǎng)友指出了問題——

「這個視頻有點(diǎn)誤導(dǎo)人。它并不像你看到所有這些擴(kuò)散模型后所想的那樣，完全從頭開始構(gòu)建。這個特定的模型只看過這個視頻，并且只是將不同的幀映射到腦信號上。所以這并非是讀心術(shù)。」

「這個說法是不準(zhǔn)確的，并沒有視頻被生成。它只是在充分了解視頻的情況下，預(yù)測了正在觀看的視頻的時間戳。」