科學(xué)家們已經(jīng)創(chuàng)造出來解釋和準(zhǔn)確地再現(xiàn)一個(gè)人所看到或想象圖像的算法

讓我們想象一下：只要在心里浮現(xiàn)出某個(gè)人物或風(fēng)景，就能從一堆數(shù)碼照片中把它搜索出來?；蛘卟挥脛庸P就能畫出一個(gè)新的廚房設(shè)計(jì)。又或者給心愛的人發(fā)送一張想象中的落日照片。一臺能讀懂你的心思的電腦會有很多用處，更不用說對于那些癱瘓的、無法正常與人交流的人。如今，科學(xué)家們已經(jīng)創(chuàng)造出了來解釋和準(zhǔn)確地再現(xiàn)一個(gè)人所看到的或想象的圖像的算法。這項(xiàng)技術(shù)可能還需要幾十年的時(shí)間才能有實(shí)際應(yīng)用，但科學(xué)家們離建立起能夠幫助我們投射內(nèi)心的系統(tǒng)更近了一步。

“我很驚訝它能運(yùn)轉(zhuǎn)得這么好，”來自印第安納州西拉斐特普渡大學(xué)（Purdue University）的計(jì)算機(jī)科學(xué)家劉中明（音）說。他幫助開發(fā)了一種算法，可以在一定程度上再現(xiàn)觀眾在看電影時(shí)看到的畫面?！斑@真的很酷。”

使用算法來解碼心智圖像并不稀奇（mental images, 即我們從記憶中提取曾儲存的視覺信息時(shí)，腦海中重現(xiàn)的影像）。自 2011 年以來，研究人員通過把當(dāng)下的大腦活動與之前觀看圖像時(shí)檢測到的大腦活動相匹配的方法，再現(xiàn)了電影片段、照片，甚至夢境圖像。但這些方法都有其局限性：有些只處理很簡單的圖像類別，比如臉型，而有些則必須從預(yù)先編程的圖像諸如“人”或“鳥”之類的類別中進(jìn)行選擇。

最新的這種算法則可以在線機(jī)動生成可辨認(rèn)的圖像，甚至可以重現(xiàn)那些沒親眼見過、想象出來的畫面。

為了弄清楚一個(gè)人在看什么，研究人員首先進(jìn)行了功能性磁共振成像（fMRI）測試，它能通過測量大腦血液流動間接監(jiān)控神經(jīng)活動。他們找來三個(gè)被試，讓他們每人觀看了超過 1000 張的圖片，每張圖片看多次，通過這種方式將大腦視覺處理區(qū)域的活動繪制成了分辨率為 2 毫米的“地圖”，作為參考。他們的目標(biāo)是，找到大腦看見某圖像時(shí)產(chǎn)生的應(yīng)答活動，比如一只獵豹，并最終讓計(jì)算機(jī)繪制出一幅幾乎相同的圖像。

但是，研究小組并不是給實(shí)驗(yàn)對象一幅接一幅地展示畫，直到電腦正確地模擬出來，而是建立了代替大腦的系統(tǒng)，深度神經(jīng)網(wǎng)絡(luò)（deep neural network ，DNN），它由幾層簡單的處理元素組成。該研究的通訊作者、日本京都大學(xué)的神經(jīng)學(xué)家神谷之康（Yukiyasu Kamitani）說：“我們認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)完全可以代表大腦的分層處理系統(tǒng)?！?/p>

“通過使用 DNN，我們可以從大腦視覺系統(tǒng)的不同層次提取信息，”從簡單的明暗對比到更有意義的內(nèi)容，比如不同的人臉。

使用“解碼器”，研究人員創(chuàng)造了大腦對圖像的反應(yīng)，但這些都儲存在深度神經(jīng)網(wǎng)絡(luò) DNN 中。如此一來，他們便不再需要實(shí)際的 fMRI 數(shù)據(jù)，僅僅需要 DNN 的翻譯。

在猜測別人在看什么時(shí)，翻譯的內(nèi)容將作為模板，而 fMRI 數(shù)據(jù)則不再重要。系統(tǒng)隨后將嘗試?yán)L制一幅圖，這幅圖會激發(fā) DNN 以匹配該模板的方式進(jìn)行響應(yīng)。它通過不斷地試錯(cuò)，直到描繪出理想的圖像，無論是獵豹、鴨子，還是彩色玻璃窗。這個(gè)系統(tǒng)從一些隨機(jī)的東西開始，類似于電視屏幕上的雪花，接著在 200 次的嘗試過程中慢慢地改進(jìn)它的圖像。為了更接近理想圖像，系統(tǒng)計(jì)算了 DNN 活動和模板化 DNN 活動之間的差異。這些計(jì)算引導(dǎo)系統(tǒng)不斷調(diào)整像素的位置，直到接近理想圖像。

為了使最終的產(chǎn)品更加準(zhǔn)確，研究人員加入了一個(gè)“深度發(fā)生器網(wǎng)絡(luò)”（deep generator network, DGN）。這個(gè)算法已經(jīng)經(jīng)過了預(yù)先訓(xùn)練，可以根據(jù)它的輸入生成逼真的圖像。DGN 讓算法重現(xiàn)的畫看起來更自然。研究人員在上月末發(fā)表的一篇預(yù)印本論文中稱，一旦添加了這一功能，人們就能第一時(shí)間分辨出兩張照片中的哪一幅是想要被重現(xiàn)的，成功率高達(dá) 99%。

接下來，科學(xué)家們試圖解讀出人們想象中的圖片。這一次，他們掃描了三名受試者的大腦，要求他們回憶之前展示過的圖像，包括魚、飛機(jī)和簡單的彩色圖形。這個(gè)方法不能完好地展示出圖像，但是對于形狀，生成器創(chuàng)建出一個(gè)可識別的圖像的概率是 83%。

這是“有趣而細(xì)致的研究”，哥倫比亞大學(xué)扎克曼研究所的計(jì)算神經(jīng)學(xué)家尼克拉斯克里奇斯科特（Nikolaus Kriegeskorte）說。他想知道計(jì)算機(jī)生成圖像的不準(zhǔn)確性在多大程度上是由于大腦活動測量手段的限制，以及它們在多大程度上反映了我們的大腦對圖像解讀時(shí)的錯(cuò)誤。他說：“更高分辨率的核磁共振成像和其他腦成像技術(shù)可能會進(jìn)一步完善結(jié)果?！蓖ㄟ^對測量和算法進(jìn)行持續(xù)的改進(jìn)，我們也許有一天能通過大腦中的心像進(jìn)行交流。