讀心術(shù)成現(xiàn)實(shí)!大腦活動(dòng)解碼成語(yǔ)音

說(shuō)話似乎是一項(xiàng)毫不費(fèi)力的活動(dòng)，但它其實(shí)是人類最復(fù)雜的動(dòng)作之一。說(shuō)話需要精確、動(dòng)態(tài)地協(xié)調(diào)聲道發(fā)音器官結(jié)構(gòu)中的肌肉——嘴唇、舌頭、喉部和下頜。當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語(yǔ)中斷時(shí)，喪失說(shuō)話能力可能是毀滅性的。

來(lái)自加州大學(xué)舊金山分校的科學(xué)家創(chuàng)造了更接近能夠恢復(fù)說(shuō)話功能的腦機(jī)接口(brain–computer interface,BCI)。

腦機(jī)接口旨在幫助癱瘓患者直接從大腦中“讀取”他們的意圖，并利用這些信息控制外部設(shè)備或移動(dòng)癱瘓的肢體，這項(xiàng)技術(shù)目前能夠使癱瘓的人每分鐘最多能打出8個(gè)單詞，而加州大學(xué)舊金山分享的研究人員開(kāi)發(fā)了一種方法，使用深度學(xué)習(xí)方法直接從大腦信號(hào)中產(chǎn)生口語(yǔ)句子，達(dá)到150個(gè)單詞，接近正常人水平！

這項(xiàng)研究發(fā)表在最新一期《自然》雜志上，作者為Anumanchipalli以及華裔科學(xué)家Edward Chang等人。

01.每分鐘能夠生成150單詞，接近正常人類水平

加州大學(xué)舊金山分校的研究人員與5名志愿者合作，志愿者們接受了一項(xiàng)被稱為“顱內(nèi)監(jiān)測(cè)”的實(shí)驗(yàn)，其中電極被用于監(jiān)測(cè)大腦活動(dòng)，作為癲癇治療的一部分。

許多癲癇患者的藥物治療效果并不好，他們選擇接受腦部手術(shù)。在術(shù)前，醫(yī)生必須首先找到病人大腦中癲癇發(fā)作的“熱點(diǎn)”，這一過(guò)程是通過(guò)放置在大腦內(nèi)部或表面的電極來(lái)完成的，并監(jiān)測(cè)明顯的電信號(hào)高峰。

精確定位“熱點(diǎn)”的位置可能需要數(shù)周時(shí)間。在此期間，患者通過(guò)植入大腦區(qū)域或其附近的電極來(lái)度日，這些區(qū)域涉及運(yùn)動(dòng)和聽(tīng)覺(jué)信號(hào)。這些患者一般會(huì)同意利用這些植入物進(jìn)行額外的實(shí)驗(yàn)。

ECoG電極陣列由記錄大腦活動(dòng)的顱內(nèi)電極組成

此次招募的五名志愿者同意測(cè)試虛擬語(yǔ)音發(fā)生器。每個(gè)患者都植入了一兩個(gè)電極陣列：圖章大小的、包含幾百個(gè)微電極的小墊，放置在大腦表面。

實(shí)驗(yàn)要求參與者背誦幾百個(gè)句子，電極會(huì)記錄運(yùn)動(dòng)皮層中神經(jīng)元的放電模式。研究人員將這些模式與患者在自然說(shuō)話時(shí)嘴唇，舌頭，喉部和下頜的微小運(yùn)動(dòng)聯(lián)系起來(lái)。然后將這些動(dòng)作翻譯成口語(yǔ)化的句子。

參與的志愿者大腦中的電極陣列位置

實(shí)驗(yàn)要求母語(yǔ)為英語(yǔ)的人聽(tīng)這些句子，以測(cè)試虛擬語(yǔ)音的流暢性。研究發(fā)現(xiàn)，大約70％的虛擬系統(tǒng)生成的內(nèi)容是可理解的。

最終，這套新系統(tǒng)每分鐘能夠生成150單詞，接近自然講話的語(yǔ)速水平。而以前基于植入物的通信系統(tǒng)每分鐘可以生成大約8個(gè)單詞。

02.技術(shù)細(xì)節(jié)：兩階段解碼方法

在這項(xiàng)工作中，研究人員使用了一種叫做高密度皮層腦電圖的技術(shù)來(lái)跟蹤志愿者說(shuō)話時(shí)大腦中控制言語(yǔ)和發(fā)音器官運(yùn)動(dòng)的區(qū)域的活動(dòng)，志愿者們被要求說(shuō)了幾百句話。

為了重建話語(yǔ)，Anumanchipalli等人不是將大腦信號(hào)直接轉(zhuǎn)換為音頻信號(hào)，而是使用一種兩級(jí)解碼的方法。他們首先將神經(jīng)信號(hào)轉(zhuǎn)換為聲道發(fā)音器官運(yùn)動(dòng)的表示，然后將解碼的運(yùn)動(dòng)轉(zhuǎn)換為口語(yǔ)句子，如圖1所示。兩次轉(zhuǎn)換都使用了遞歸神經(jīng)網(wǎng)絡(luò)——一種人工神經(jīng)網(wǎng)絡(luò)，在處理和轉(zhuǎn)換具有復(fù)雜時(shí)間結(jié)構(gòu)的數(shù)據(jù)時(shí)特別有效。

圖1：語(yǔ)音合成的腦機(jī)接口

在上圖A中，以前的語(yǔ)音合成研究采用的方法是使用腦電圖（ECoG）設(shè)備監(jiān)測(cè)大腦語(yǔ)音相關(guān)區(qū)域的神經(jīng)信號(hào)，并嘗試將這些信號(hào)直接解碼合成語(yǔ)音，使用一種稱為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的人工神經(jīng)網(wǎng)絡(luò)；

上圖B中，Anumanchipalli等人開(kāi)發(fā)了一種不同的方法，RNN被用于兩階段解碼。其中一個(gè)解碼步驟是將神經(jīng)信號(hào)轉(zhuǎn)換成聲道發(fā)聲器官(紅色)的預(yù)估運(yùn)動(dòng)，涉及到語(yǔ)音生成的解剖結(jié)構(gòu)(嘴唇、舌頭、喉部和下頜)。為了在第一個(gè)解碼步驟中進(jìn)行訓(xùn)練，作者需要每個(gè)人的聲道運(yùn)動(dòng)與他們的神經(jīng)活動(dòng)關(guān)聯(lián)起來(lái)的數(shù)據(jù)。

因?yàn)闊o(wú)法直接測(cè)量每個(gè)人的聲道運(yùn)動(dòng)，Anumanchipalli等人構(gòu)建了一個(gè)RNN來(lái)預(yù)估這些運(yùn)動(dòng)，其訓(xùn)練數(shù)據(jù)是之前收集的大量聲道運(yùn)動(dòng)數(shù)據(jù)和語(yǔ)音錄音。

這個(gè)RNN產(chǎn)生的聲道運(yùn)動(dòng)估計(jì)足以訓(xùn)練第一個(gè)解碼器。第二個(gè)解碼步驟將這些估計(jì)的動(dòng)作轉(zhuǎn)換成合成語(yǔ)音。Anumanchipalli和他的同事的兩步解碼方法產(chǎn)生的口語(yǔ)句子的失真率明顯低于直接解碼方法獲得的句子。

與直接解碼聲學(xué)特征相比，作者采用的兩階段解碼方法能明顯減小聲音失真。如果可以獲得跨多種語(yǔ)音條件的海量數(shù)據(jù)集，那么直接合成可能會(huì)接近或優(yōu)于兩階段解碼的方法。

然而，考慮到現(xiàn)實(shí)中數(shù)據(jù)集的匱乏，解碼的中間階段會(huì)將聲道發(fā)音器官正常運(yùn)動(dòng)功能的信息帶入模型，并限制必須評(píng)估的神經(jīng)網(wǎng)絡(luò)模型的可能參數(shù)。這種方法似乎使神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)更高的性能。最終，反映正常運(yùn)動(dòng)功能的“仿生”方法可能在復(fù)制自然語(yǔ)言典型的快速、高精度通信方面發(fā)揮關(guān)鍵作用。

03.不能說(shuō)話的個(gè)體也能實(shí)現(xiàn)語(yǔ)音合成

在腦機(jī)接口（BCI）研究中，包括新興的語(yǔ)音腦機(jī)接口領(lǐng)域，開(kāi)發(fā)和采用允許跨研究進(jìn)行有意義的比較的穩(wěn)健度量是一項(xiàng)挑戰(zhàn)。例如，重構(gòu)原始語(yǔ)音的錯(cuò)誤等度量可能與腦機(jī)接口的功能性能(即聽(tīng)者是否能聽(tīng)懂合成的語(yǔ)音)幾乎沒(méi)有對(duì)應(yīng)關(guān)系。

為了解決這個(gè)問(wèn)題，Anumanchipalli等人從語(yǔ)音工程領(lǐng)域出發(fā)，開(kāi)發(fā)了易于復(fù)制的人類聽(tīng)眾語(yǔ)音可懂度測(cè)量方法。他們?cè)诒姲袌?chǎng)Amazon Mechanical Turk上招募用戶，讓志愿者識(shí)別合成語(yǔ)音中的單詞或句子。

與重構(gòu)錯(cuò)誤或以前使用的自動(dòng)可懂度測(cè)量方法不同，這種方法直接測(cè)量語(yǔ)音對(duì)人類聽(tīng)眾的可懂度，而不需要與原始話語(yǔ)進(jìn)行比較。

Anumanchipalli和他的同事的研究結(jié)果為語(yǔ)音合成腦機(jī)接口的概念提供了令人信服證據(jù)，無(wú)論是在音頻重建的準(zhǔn)確性方面，還是在聽(tīng)者對(duì)產(chǎn)生的單詞和句子進(jìn)行分類的能力方面。

然而，在通往臨床可行的語(yǔ)音腦機(jī)接口的道路上仍有許多挑戰(zhàn)。

重構(gòu)語(yǔ)音的可理解性仍遠(yuǎn)低于自然語(yǔ)音，腦機(jī)接口能否通過(guò)收集更大的數(shù)據(jù)集并繼續(xù)開(kāi)發(fā)底層的計(jì)算方法來(lái)進(jìn)一步改進(jìn)還有待觀察。使用記錄局部腦活動(dòng)的神經(jīng)接口可能比使用皮層腦電圖記錄的更為有效。例如，在腦機(jī)接口研究的其他領(lǐng)域，皮質(zhì)內(nèi)微電極陣列通常比皮質(zhì)腦電圖具有更高的性能。

目前所有語(yǔ)音解碼方法的另一個(gè)限制是需要使用語(yǔ)音來(lái)訓(xùn)練解碼器。因此，基于這些方法的腦機(jī)接口不能直接應(yīng)用于無(wú)法說(shuō)話的人。

但是Anumanchipalli和他的同事們發(fā)現(xiàn)，當(dāng)志愿者在不發(fā)聲的情況下模仿語(yǔ)音時(shí)，語(yǔ)音合成仍然是可行的，盡管語(yǔ)音解碼的準(zhǔn)確率要低得多。無(wú)法產(chǎn)生語(yǔ)音相關(guān)動(dòng)作的個(gè)體是否能夠使用語(yǔ)音合成腦機(jī)接口是未來(lái)研究的一個(gè)問(wèn)題。

基于神經(jīng)解碼的無(wú)聲模仿語(yǔ)音合成

值得注意的是，在首次對(duì)腦機(jī)接口進(jìn)行概念驗(yàn)證研究以控制健康動(dòng)物的手臂和手的運(yùn)動(dòng)之后，人們對(duì)這種腦機(jī)接口在癱瘓患者身上的適用性提出了類似的問(wèn)題。隨后的臨床試驗(yàn)令人信服地證明，使用腦機(jī)接口，人類可以快速交流、控制機(jī)械臂、恢復(fù)癱瘓肢體的感覺(jué)和運(yùn)動(dòng)等。

最后，這些令人信服的概念驗(yàn)證證明了不能說(shuō)話的個(gè)體也能實(shí)現(xiàn)語(yǔ)音合成，結(jié)合腦機(jī)接口在上肢癱瘓患者中的快速進(jìn)展，研究人員認(rèn)為應(yīng)該大力考慮涉及言語(yǔ)障礙患者的臨床研究。

隨著持續(xù)的進(jìn)步，希望更多有語(yǔ)言障礙的人能夠重新獲得自由表達(dá)思想的能力，并重新與周圍的世界聯(lián)系起來(lái)。

華裔科學(xué)家解碼，馬斯克腦機(jī)接口公司也會(huì)有新動(dòng)作

Nature這篇文章的作者之一是加州大學(xué)舊金山分校神經(jīng)外科教授Edward Chang博士。

Edward Chang

Edward Chang博士的研究重點(diǎn)是言語(yǔ)、運(yùn)動(dòng)和人類情感的大腦機(jī)制，同時(shí)他也是加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的合作單位——神經(jīng)工程與假肢中心的聯(lián)合負(fù)責(zé)人。該中心匯集了工程、神經(jīng)病學(xué)和神經(jīng)外科方面的專家，以開(kāi)發(fā)最先進(jìn)的生物醫(yī)學(xué)技術(shù)，用以恢復(fù)神經(jīng)系統(tǒng)殘疾患者的功能，如癱瘓和言語(yǔ)障礙。

Edward Chang博士表示，這次在Nature上的研究，“我們通過(guò)解碼大腦活動(dòng)提升語(yǔ)音的清晰度，模擬的語(yǔ)音比從大腦中提取聲音表示的合成語(yǔ)音更準(zhǔn)確、更自然?！?/p>

人類將大腦與計(jì)算機(jī)相連的努力越來(lái)越多。

上個(gè)月，美國(guó)一組科學(xué)家在biorxiv.org上發(fā)表一篇論文，稱找到了快速將電線植入大鼠大腦的方法，論文中描述這個(gè)過(guò)程是“向人類大腦直接插入計(jì)算機(jī)潛在系統(tǒng)邁出的重要一步”。

研究人員將他們的系統(tǒng)稱為“縫紉機(jī)”（sewing machine），科學(xué)家在實(shí)驗(yàn)室中移除一塊老鼠的頭骨并插入一根針頭，將柔性電極送入老鼠的腦組織。

彭博新聞報(bào)道，這組科學(xué)家與馬斯克的腦機(jī)接口公司Neuralink有各種松散關(guān)聯(lián)。

Neuralink于2016年注冊(cè)為加州的一家醫(yī)學(xué)研究公司，該公司聘請(qǐng)了來(lái)自不同大學(xué)的幾位知名神經(jīng)科學(xué)家，并與加州大學(xué)戴維斯分校的實(shí)驗(yàn)室簽約，對(duì)靈長(zhǎng)類動(dòng)物進(jìn)行研究。

本周三，當(dāng)Twitter用戶詢問(wèn)Neurink的進(jìn)展時(shí)，馬斯克說(shuō)，“可能會(huì)在幾個(gè)月內(nèi)宣布一些值得注意的事情?！?/p>

馬斯克認(rèn)為，腦機(jī)接口技術(shù)能在2021年之前治療嚴(yán)重的腦損傷。此外，科學(xué)可以通過(guò)腦機(jī)接口擴(kuò)大人類的能力。他舉了一個(gè)例子：人們可以通過(guò)心靈感應(yīng)來(lái)傳達(dá)復(fù)雜的概念，“你不需要用語(yǔ)言表達(dá)”。

人類是否有一天會(huì)與機(jī)器合并？馬斯克認(rèn)為，人類已經(jīng)在某種程度上做到了這一點(diǎn)，因?yàn)?a target="_blank">智能手機(jī)等近乎無(wú)所不在的技術(shù)，因此腦機(jī)接口這項(xiàng)工作應(yīng)該繼續(xù)下去。

這可能會(huì)導(dǎo)致科幻未來(lái)，因?yàn)槿藗兛梢栽谀X海中下載外語(yǔ)，你覺(jué)得呢？