神經(jīng)科學(xué)新突破！新算法助力超算進行人類大腦模擬

由德國于利希神經(jīng)科學(xué)和醫(yī)學(xué)研究所聯(lián)合國際研究機構(gòu)提出的新算法，解決了限制在E級超級計算機上模擬大腦神經(jīng)網(wǎng)絡(luò)的焦點問題——即原有網(wǎng)絡(luò)創(chuàng)建算法使得每個處理器所需的計算機內(nèi)存量隨著神經(jīng)網(wǎng)絡(luò)的增大而增加。同時，經(jīng)過測試發(fā)現(xiàn)，新算法還一定程度的提高了超級計算機的模擬速度。

人腦是一個令人難以置信的復(fù)雜器官，由100億個相互關(guān)聯(lián)的神經(jīng)細胞組成。即使在最強大的超級計算機幫助下，目前也不可能在這種尺寸的網(wǎng)絡(luò)中模擬神經(jīng)元信號的交換。

不過，近日，一個國際研究小組已在實現(xiàn)E級超級計算機上模擬大腦網(wǎng)絡(luò)邁出了決定性的一步，該項研究允許使用相同數(shù)量的計算機內(nèi)存來代表人腦中較大的部分，新算法顯著加速了現(xiàn)有超級計算機上的大腦模擬效果。這項研究發(fā)表在Frontiers in Neuroinformatics上。

“自2014年以來，我們的軟件可以模擬人腦中大約百分之一的神經(jīng)元之間的聯(lián)系”德國于利希神經(jīng)科學(xué)和醫(yī)學(xué)研究所（INM-6）主任Markus Diesmann說。為了實現(xiàn)這一壯舉，該軟件運行需要千兆超級計算機，例如神戶的K計算機和于利希的超級計算機JUQUEEN。

Diesmann研究模擬軟件NEST已經(jīng)20多年。NEST是一個免費、開源模擬代碼，被神經(jīng)科學(xué)界廣泛使用，同時也是歐洲類腦計劃的核心模擬器。而Diesmann本人在歐洲類腦計劃中領(lǐng)導(dǎo)理論神經(jīng)科學(xué)和高性能分析與計算平臺領(lǐng)域的項目。

使用NEST，網(wǎng)絡(luò)中每個神經(jīng)元的行為都由一些數(shù)學(xué)方程來表示。未來的E級計算機，比如計劃在神戶建設(shè)的Post-K計算機和于利希建設(shè)的JUWELS計算機，它們的性能將超過當(dāng)今高端超級計算機10到100倍。而這將是研究人員第一次擁有模擬人類大腦這樣大規(guī)模神經(jīng)網(wǎng)絡(luò)的計算機能力。

看起來是死路一條：模擬人腦規(guī)模，處理器的內(nèi)存要比超級計算機大100倍

盡管目前的仿真技術(shù)使研究人員有能力開始研究大型神經(jīng)網(wǎng)絡(luò)，但它也代表了E級技術(shù)發(fā)展的終點。目前的超級計算機由大約10萬臺稱為節(jié)點的小型計算機組成，每臺計算機都配備了多個進行實際計算的處理器。

“在進行神經(jīng)元網(wǎng)絡(luò)模擬之前，需要虛擬地創(chuàng)建神經(jīng)元及其之間的連接，這意味著它們需要在節(jié)點的存儲器中實例化。在模擬過程中，神經(jīng)元不知道其目標(biāo)神經(jīng)元在哪一個節(jié)點。因此，它的短電脈沖需要發(fā)送給所有節(jié)點，然后每個節(jié)點再檢查這些電脈沖中的哪一個與該節(jié)點上存在的虛擬神經(jīng)元相關(guān)?！彼沟赂鐮柲TH皇家理工學(xué)院的Susanne Kunkel解釋說

對于現(xiàn)階段來說，這種網(wǎng)絡(luò)創(chuàng)建的算法是有效的，因為所有節(jié)點同時構(gòu)建其網(wǎng)絡(luò)的特定部分。但是，將所有電脈沖發(fā)送到所有節(jié)點并不適合在E級系統(tǒng)上進行仿真。

“為了有效地檢查每個電脈沖的相關(guān)性，需要整個網(wǎng)絡(luò)中每個神經(jīng)元的每個處理器都有一個信息位。對于一個有10億個神經(jīng)元的網(wǎng)絡(luò)來說，每個節(jié)點的大部分內(nèi)存都將被神經(jīng)元的這一個信息位所消耗?！盌iesmann補充到。

使用千萬億次超級計算機（左下），以前的模擬技術(shù)可以模擬人腦中大約1％的神經(jīng)細胞（神經(jīng)元）（圖片左側(cè)大腦暗紅色區(qū)域）。盡管下一代超級計算機的性能超過當(dāng)今超級計算機的性能10到100倍，應(yīng)用以前的模擬技術(shù)在大腦的模擬上也只能有很小的進展（圖片中間大腦暗紅色區(qū)域）。使用相同數(shù)量的計算機內(nèi)存（右下角），可以用該研究提出的新技術(shù)模擬人類大腦的更多部分。我們大腦的10%約等于整個大腦皮層的大小（圖片右側(cè)大腦的深紅色區(qū)域），高達140億個神經(jīng)細胞，這是更高級的處理必不可少的。另一部分神經(jīng)元位于小腦（藍色部分）。圖片來自Forschungszentrum Jülich

這就是模擬更大網(wǎng)絡(luò)時遇到的主要問題：每個處理器所需的計算機內(nèi)存量隨著神經(jīng)元網(wǎng)絡(luò)的增大而增加。如果要模擬人腦的規(guī)模，這就要求每個處理器的可用內(nèi)存比現(xiàn)在的超級計算機大100倍。但是，這在下一代超級計算機中并不太可能出現(xiàn)，下一代計算機中每個計算節(jié)點的處理器數(shù)量或許會增加，但每個處理器的內(nèi)存和計算節(jié)點的數(shù)量將保持不變。

新算法的突破：節(jié)點間的神經(jīng)元活動數(shù)據(jù)交換有條理，不必為神經(jīng)元增加比特

神經(jīng)信息學(xué)前沿的突破性成果是創(chuàng)建了超級計算機神經(jīng)元網(wǎng)絡(luò)的一種新算法。由于這個算法，每個節(jié)點上所需的內(nèi)存不再隨著網(wǎng)絡(luò)增大而增加。

在模擬開始時，新技術(shù)允許節(jié)點交換關(guān)于誰需要發(fā)送神經(jīng)元活動數(shù)據(jù)的信息給誰。一旦獲得了這一知識，節(jié)點間的神經(jīng)元活動數(shù)據(jù)交換就是有條理的，如此各節(jié)點只接收它需要的信息，而不必再為網(wǎng)絡(luò)中的每個神經(jīng)元添加一個比特。

有益的另一面：使現(xiàn)有的超級計算機模擬速度更快

在測試新算法的時，科學(xué)家們提出了另一有益的發(fā)現(xiàn)，Susanne Kunkel說：“當(dāng)分析新算法時，我們意識到這項新技術(shù)不僅能完成E級系統(tǒng)的模擬，同時還會使現(xiàn)有的超級計算機模擬速度更快?！?/p>

事實上，隨著內(nèi)存消耗得到控制，模擬的速度成為技術(shù)進一步發(fā)展的主要焦點。例如，在于利希的超級計算機JUQUEEN上運行的由5.8萬億突觸連接的大型模擬神經(jīng)網(wǎng)絡(luò)需要28.5分鐘來計算一秒鐘的生物時間。隨著仿真的數(shù)據(jù)結(jié)構(gòu)改進，時間減少到了5.2分鐘。

利用這項新技術(shù)，我們可以比以前更好地利用現(xiàn)代微處理器的并行性，這在E級計算機中將變得更加重要?！痹擁椦芯康闹饕髡逬akob Jordan評論道。

E級硬件和相應(yīng)軟件的結(jié)合促進了對大腦基本功能的研究，比如可塑性和如何快速學(xué)習(xí)?！盡arkus Diesmann說。

在模擬軟件Nest的下一個版本中，研究人員將把他們的成果作為開源資源免費提供給社區(qū)。

“我們一直在K計算機上使用NEST來模擬健康的人和帕金森病人的大腦基底核回路的復(fù)雜動態(tài)。我們很高興聽到關(guān)于新一代NEST的消息，這將使我們能夠在Post-K計算機上運行全腦模擬來闡明運動控制和心理功能的神經(jīng)機制?！睕_繩科學(xué)技術(shù)研究院（OIST）的Kenji Doya說。

“這項研究將是構(gòu)建E級計算機國際合作一個很好的例子。重要的是，我們已經(jīng)準(zhǔn)備好應(yīng)用程序，在這些超級計算機建設(shè)出來的第一天就能使用。”神戶理化學(xué)研究所的Mitsuhisa Sato最后總結(jié)道。