會讀心術(shù)的計(jì)算機(jī)

試想一下，你的電腦里存了成千上萬張未分類的照片，然而只要你在腦海里想象一下初戀花兒般的臉，系統(tǒng)就可以自動幫你找到那張照片。又或者，不需要提筆，你就可以畫出廚房設(shè)計(jì)草圖。甚至，給你的愛人發(fā)一張唯美的日落照，盡管這張照片你從來沒有拍到過。

顯然，能夠讀懂人類在想什么（會讀心術(shù)）的計(jì)算機(jī)在日常生活中大有用武之地，特別是對殘疾人來說，他們急需一種高效的交流工具。

雖然這些場景聽起來都非常夢幻，但是科學(xué)家們正在努力向這一夢想靠近。

如今，來自日本京都大學(xué)科學(xué)家們已經(jīng)創(chuàng)造了一種算法，它可以解釋并準(zhǔn)確地重現(xiàn)他人看到或想象的圖像。這項(xiàng)技術(shù)可能仍然需要數(shù)十年的時(shí)間才能投入實(shí)際使用，但是研究人員距離這個(gè)可以投射我們內(nèi)心世界的系統(tǒng)又近了一步。

美國印第安納州普渡大學(xué)計(jì)算機(jī)科學(xué)家 Zhongming Liu 評價(jià)說：“它的運(yùn)行效果非常好，這讓我印象深刻。”此前，Zhongming Liu 曾開發(fā)了一種算法，可以在一定程度上重現(xiàn)電影愛好者觀影時(shí)所看到的內(nèi)容。

實(shí)際上，使用算法來解碼心理圖像并不新鮮。自2011年以來，已經(jīng)有研究人員通過將大腦活動與早先觀看圖像時(shí)記錄的活動進(jìn)行匹配，重構(gòu)了影像片段、照片甚至是夢中的意象。但是，這些方法都有很大的局限性：有些方法只能處理臉型，有些方法必須從預(yù)先設(shè)置好的圖片和類別中選擇，而不能從頭開始構(gòu)建圖像。

而這一次的工作則可以立即生成圖像，甚至再現(xiàn)人類想象中而非親眼所見的圖形的形狀。

為了弄清楚一個(gè)人看到的到底是什么，京都大學(xué)的研究人員使用了功能磁共振成像（fMRI），來測量大腦的血液流量，作為大腦神經(jīng)活動的衡量值。在實(shí)驗(yàn)中，研究人員讓三名測試人員每次觀察 1000 多張圖像，并重復(fù)幾次，然后以此來映射出可視化處理區(qū)域，分辨率可達(dá) 2mm。這樣做的目的是，觀察大腦在思考圖像時(shí)的活動，并讓計(jì)算機(jī)構(gòu)建出一幅能夠讓大腦產(chǎn)生相同活動的圖像。

計(jì)算機(jī)會反復(fù)修改繪制的圖像，一直到正確為止。除此之外，該研究團(tuán)隊(duì)還為大腦建立了一個(gè)軟件平臺——一個(gè)深度神經(jīng)網(wǎng)絡(luò)（DNN）。日本京都大學(xué)的神經(jīng)科學(xué)家，同時(shí)也是該論文的作者 Yakiyasu Kamitani 表示：“我們相信深層神經(jīng)網(wǎng)絡(luò)可以很好地代表大腦的分層處理，通過使用 DNN，我們可以從不同層面的大腦視覺系統(tǒng)中提取出信息。”從簡單的光線對比度到人臉，都屬于這些信息。

使用解碼器，研究人員可以創(chuàng)建人類大腦對圖像的反應(yīng)的表示，只不過這個(gè)表示存在于 DNN 中。從此以后，研究人員便不再需要進(jìn)行fMRI測量，用 DNN 來轉(zhuǎn)換就可以了。

當(dāng)系統(tǒng)猜測某人正在查看的是什么內(nèi)容時(shí)，這里的“翻譯”就起到了模板的作用，而不再需要fMRI數(shù)據(jù)。然后系統(tǒng)會嘗試?yán)L制出圖片，然后觸發(fā) DNN 與此模板進(jìn)行匹配，這一過程會不斷重復(fù)，直到繪制出我們希望的圖像為止。

一開始，這個(gè)系統(tǒng)會隨機(jī)生成圖像，然后不斷地改進(jìn)并細(xì)化圖像，一共迭代 200 輪。為了讓其更接近理想中的圖像，系統(tǒng)會將 DNN 活動與模板 DNN 活動進(jìn)行比較，自動計(jì)算兩者之間的差異，以此來擬合一個(gè)個(gè)像素，知道接近理想的圖像。

為了讓最終的成像更加準(zhǔn)確，研究人員開發(fā)了一個(gè)“深層生成器網(wǎng)絡(luò)”（DGN），這種算法已經(jīng)進(jìn)行過預(yù)訓(xùn)練，可以根據(jù)輸入生成逼真的成像。DGN 將細(xì)化這些圖像，使其看起來更加自然。研究人員表示，一旦加入了 DGN，一個(gè)中立的人類觀察員可以輕易地分辨兩張圖片中哪張是我們希望重建的，而且準(zhǔn)確率可達(dá) 99%。

接下來，研究人員開始嘗試讀懂人類想象圖像時(shí)的腦部活動。如何進(jìn)行這項(xiàng)研究呢？他們讓參與實(shí)驗(yàn)的人員回憶之前展示過的圖像，包括一條魚、一架飛機(jī)、以及一些簡單的彩色圖形，然后依次掃描他們的大腦。實(shí)驗(yàn)證明，這種方法對于復(fù)雜的照片并不適用，對圖形卻很有效，研究表明，生成器 83% 的時(shí)間里都可以生成一張可識別的圖像。

首先，輸入圖像的像素值會被優(yōu)化，以便使圖像的 DNN 特征與從 fMRI 活動記錄中解碼出來的特征相似。之后，深度生成器網(wǎng)絡(luò)（DGN）可以有選擇的與 DNN 組合，以生成自然的圖片，其中，優(yōu)化過程在 DGN 的輸入層執(zhí)行。

圖1：深度圖像重建。

圖2：自然圖像重建。黑框和灰框分別代表展示的圖像和重建的圖像。

圖 3：人眼看到的形狀重建。黑框和灰框分別代表展示和重建的圖像。

圖 4：意象重建。黑框和灰框分別代表目標(biāo)圖像和重建圖像。

哥倫比亞大學(xué)祖克曼研究所（Zuckerman Institute）的計(jì)算神經(jīng)科學(xué)家 Nikolaus Kriegeskorte 雖然認(rèn)為這是一項(xiàng)“有趣而且謹(jǐn)慎”的工作，但是他提出了自己的疑問：計(jì)算機(jī)生成的圖像的不準(zhǔn)確性，和大腦活動測量的限制，到底有多大關(guān)聯(lián)，以及它們在多大程度上，反應(yīng)了我們的大腦是如何錯(cuò)誤解讀圖像的。

Kriegeskorte 表示：“更高分辨率的 fMRI 結(jié)合其他大腦成像技術(shù)可能會進(jìn)一步改善現(xiàn)在的結(jié)果。隨著更先進(jìn)的測量方式的出現(xiàn)以及算法的不斷改進(jìn)，未來我們有可能會通過意念圖片來進(jìn)行交流。