神經(jīng)進(jìn)化說(shuō)的是什么？

Nature新子刊Machine intelligence中有一篇12頁(yè)的綜述，匯總介紹了神經(jīng)進(jìn)化這一前沿的研究方向在神經(jīng)網(wǎng)絡(luò)中的眾多應(yīng)用。本文用5分鐘概述該文的主要觀點(diǎn)，對(duì)于不了解神經(jīng)進(jìn)化的讀者，本文將先帶你認(rèn)識(shí)神經(jīng)進(jìn)化說(shuō)的是什么？你不需要太多的背景知識(shí)，也能讀懂本文。

人工的神經(jīng)網(wǎng)絡(luò)是依靠梯度的反向傳播來(lái)進(jìn)行優(yōu)化的，而在生物界中，神經(jīng)網(wǎng)絡(luò)中并沒有指出優(yōu)化方向的梯度，感知從下而上正向傳播，之后相近的刺激帶來(lái)共同激活的神經(jīng)元，再用這些連接來(lái)對(duì)新事物編碼及預(yù)測(cè)，而一切都依賴于進(jìn)化機(jī)制。所謂神經(jīng)進(jìn)化，就是用遺傳算法來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)生成，參數(shù)更新及整體的效率優(yōu)化。其基本的循環(huán)是突變-》選擇-》繁衍-》再突變。

下圖來(lái)自莫煩Python的視頻，其中對(duì)比了兩種神經(jīng)進(jìn)化的策略，一種是不固定網(wǎng)絡(luò)的結(jié)構(gòu)，通過神經(jīng)網(wǎng)絡(luò)間的交叉配對(duì)形成下一代的網(wǎng)絡(luò)，另一組是固定結(jié)構(gòu)，每一代網(wǎng)絡(luò)中通過引入突變改變連接的強(qiáng)度，最終倆者都通過進(jìn)化的優(yōu)勝劣汰來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的最優(yōu)化。

不同于傳統(tǒng)的隨機(jī)梯度下降，是基于對(duì)現(xiàn)在錯(cuò)誤來(lái)源的外推決定下一步進(jìn)化的方向，即使引入了隨機(jī)性，也只是在原有方向上引入高斯誤差，是一種事后的彌補(bǔ)，而神經(jīng)進(jìn)化是通過在下一代中引入在算法空間中性質(zhì)完全不同的點(diǎn)，之后根據(jù)適應(yīng)度在這些點(diǎn)之間進(jìn)行內(nèi)推，雖然速度慢，但是可以更大規(guī)模的并行處理，且能夠更好的避免陷入局部最優(yōu)。

神經(jīng)進(jìn)化不止在監(jiān)督學(xué)習(xí)中應(yīng)用廣泛，在深度強(qiáng)化學(xué)習(xí)中也有廣泛的應(yīng)用。Uber開發(fā)的開源工具Visual Inspector for Neuroevolution（VINE），可以用于神經(jīng)演化的交互式數(shù)據(jù)可視化工具。而下文的作者之一也來(lái)自Uber的AI實(shí)驗(yàn)室。

在結(jié)束背景介紹之后，進(jìn)入這篇論文本身的介紹。作者首先指出了神經(jīng)進(jìn)化相比神經(jīng)網(wǎng)絡(luò)的幾個(gè)獨(dú)特的能力，包括通過學(xué)習(xí)找到合適的網(wǎng)絡(luò)組成部分（例如激活函數(shù)），以及網(wǎng)絡(luò)的超參數(shù)（有幾層，每層有多少神經(jīng)元）以及用于的學(xué)習(xí)策略本身。不同于AutoML的自動(dòng)化調(diào)參，神經(jīng)進(jìn)化始終在搜索答案中保持著一個(gè)多樣的解法“種群”，而且由于神經(jīng)進(jìn)化的研究和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)并沒有多少交集，因此倆者之間的匯總更容易擦出火花。

最初的神經(jīng)進(jìn)化關(guān)注小規(guī)模網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的演化，最初的進(jìn)化算法僅僅是通過（神經(jīng)元）連接矩陣間的權(quán)重加上隨機(jī)突變來(lái)展開，之后受到基因間調(diào)控網(wǎng)絡(luò)的啟發(fā)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)展開了間接的編碼。隨著引入在倆個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中的雜交（crossover），神經(jīng)進(jìn)化可以探索更為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，但需要面對(duì)如何避免讓新生成的網(wǎng)絡(luò)結(jié)構(gòu)由于缺少足夠的時(shí)間進(jìn)行局部?jī)?yōu)化而無(wú)法發(fā)揮出其最優(yōu)的性能，該方向上最顯著的成果是NeuroEvolution of Augmenting Topologies （NEAT）算法，該算法的成果包括模擬機(jī)器人行走的控制程序，下圖分別是使用遺傳算法和進(jìn)化策略訓(xùn)練模擬機(jī)器人走路（來(lái)自UberAI實(shí)驗(yàn)室Mujoco 人）

在強(qiáng)化學(xué)習(xí)領(lǐng)域，natural evolutionary strategy可以在 Atari 游戲機(jī)上和Deep Q learning有相近的表現(xiàn)，而且這些算法的并行潛力使得這些算法在有足夠計(jì)算資源時(shí)，可以用更快的時(shí)間完成訓(xùn)練，盡管神經(jīng)進(jìn)化需要的總的計(jì)算資源要多一些。神經(jīng)進(jìn)化在強(qiáng)化學(xué)習(xí)中的成功說(shuō)明了神經(jīng)進(jìn)化方法可以用在現(xiàn)實(shí)中的復(fù)雜問題上。

Lehman將神經(jīng)進(jìn)化和梯度結(jié)合了起來(lái)。該方法的靈感來(lái)自是通過梯度去選擇出那些不那么危險(xiǎn)的突變。由于強(qiáng)化學(xué)習(xí)中評(píng)估一個(gè)策略的適應(yīng)度需要花費(fèi)的比評(píng)估網(wǎng)絡(luò)本身要花費(fèi)更多的資源，前者需要運(yùn)行游戲或者模擬環(huán)境數(shù)回合，才能看到收益，而后者只需要去將網(wǎng)絡(luò)中的錯(cuò)誤項(xiàng)前向傳播幾步即可。神經(jīng)進(jìn)化中對(duì)策略（policy）加以隨機(jī)的突變，部分突變不會(huì)影響策略的性能，但少部分會(huì)讓該策略徹底失效。通過對(duì)狀態(tài)和行為歸檔記錄，可以通過梯度信息對(duì)變異的大小進(jìn)行縮放，從而避免突變后的策略對(duì)于當(dāng)前的狀態(tài)過于激進(jìn)或保守，從而使得在深度超過100層的網(wǎng)絡(luò)上可以使用神經(jīng)進(jìn)化的策略。

神經(jīng)進(jìn)化可以模擬真實(shí)進(jìn)化中對(duì)多樣性和新奇策略的偏好，在要優(yōu)化的目標(biāo)中對(duì)全新的策略給予獎(jiǎng)勵(lì)，從而避免陷入局部最優(yōu)，或者以策略種群的多樣性為優(yōu)化主要目標(biāo)。在強(qiáng)化學(xué)習(xí)中，一個(gè)策略要想和其他策略不同，需要具有不同的基礎(chǔ)能力，從而使策略種群多樣性為優(yōu)化目標(biāo)好于人為設(shè)定的損失函數(shù)。

總結(jié)：神經(jīng)進(jìn)化在meta learning，多任務(wù)學(xué)習(xí)中都可以和現(xiàn)有方法結(jié)合。正如卷積操作就是一種編碼信息的方式，神經(jīng)進(jìn)化還可以找到更好的對(duì)信息進(jìn)行間接編碼（Indirect coding）的方法以及通過進(jìn)化策略重現(xiàn)出類似LSTM的網(wǎng)絡(luò)結(jié)構(gòu)。強(qiáng)化學(xué)習(xí)中的自我對(duì)弈可以看成是神經(jīng)進(jìn)化的一種，而對(duì)策略多樣性的偏好也鼓勵(lì)了模型對(duì)新策略的探索。最后，在通向通用人工智能的路上，神經(jīng)進(jìn)化通過構(gòu)建開放目地的（open-endedness）的系統(tǒng)，讓策略不帶有先驗(yàn)?zāi)康氐奶剿?，模擬自然界的進(jìn)化，最終得到一個(gè)足夠普適的智能系統(tǒng)。