Open AI推出神經元可視化庫Microscope

4月14日，非營利人工智能研究組織Open AI推出神經元可視化庫Microscope，有助于提升AI研究者對神經網絡的理解。

現(xiàn)代神經網絡由成千上萬的神經元組成，神經活動就是神經元間的相互協(xié)作過程。解釋神經元間的相互作用一直是AI研究者的一大目標。

Microscope神經元可視化庫基于8個常用或重要的視覺神經網絡，收集了其中每一個重要的層級和神經元，使分析神經網絡的內部特征更加容易。

如同在實驗室中用顯微鏡能更清晰地觀察到細節(jié)，它也能使AI研究者更好地理解有成千上萬個神經元的神經網絡的結構和行為。

一、連接8大神經網絡，可視化呈現(xiàn)神經元

8個神經網絡分別是：AlexNet（2012年ImageNet挑戰(zhàn)賽冠軍），AlexNet（Places），Inception v1（又稱GoogleNet，2014年ImageNet挑戰(zhàn)賽冠軍），Inception v1（Places），VGG 19，Inception v3，Inception v4，ResNet v2 50。每個神經網絡中都有許多圖像，在創(chuàng)作共用授權條款下，可以在OpenAI lucid程序庫中重復使用。

Microscope模型把神經網絡層當作“節(jié)點（node）”，“節(jié)點”通過“邊（edge）”相互連接。每個op包含數(shù)百個“單元（unit）”，大致類似于神經元。通過特征可視化、深度夢境、數(shù)據(jù)集示例、合成調整曲線等技術實現(xiàn)可視化效果。

研究人員稱隨著時間發(fā)展，圖像可能會更多。但他們也指出，使用的大多數(shù)技術只有在特定情況下才有用。比如，特征可視化只能指向“單元”，但不能指向其“父節(jié)點”。

▲神經元視覺化呈現(xiàn)

二、快速反饋，易于理解，能倒推出神經活動

研究人員基于已有的神經網絡，連接所有的神經網絡層和神經元，搭建出了Microscope。

這種方法有幾大優(yōu)勢：

首先，Microscope將探索神經元的反饋時間從分鐘級縮短為秒級。在發(fā)現(xiàn)一些未知特性時，這種快速反饋回路必不可少，比如可以幫助研究人員發(fā)現(xiàn)神經活動中的高-低頻探測器。

其次，建立可連接的模型和神經元使研究人員既可以立即進行查閱，也可以進行更長遠的研究。當研究人員在不同機構工作時，也不會對模型和神經元產生混淆。

另外，Microscope具有可訪問性。相比于其他模型，它需要的訪問計算量更少。但是，Microscope仍然需要幾百個GPU小時，研究人員稱希望能保持它的高度可理解性。

根據(jù)OpenAI 14日發(fā)表的博文，Microscope可以通過理解神經元間的聯(lián)系，倒推實現(xiàn)神經元間的協(xié)作。

OpenAI認為，Microscope可以為那些有興趣探索神經網絡如何工作的人提供便利，但其更重要的價值在于提供長期的、共享的神經元可視化庫來促進對這些模型的長期研究。

“我們也希望神經科學等相近學科的研究人員能夠從中獲益，可以更容易地理解這些視覺模型的內部工作?！毖芯咳藛T表示。

結語：神經網絡可視化是熱點，未來或有更多進步

除了Microscope以外，近年來也有其他致力于使機器學習模型的活動可視化的研究。

比如，去年秋天臉書推出了Captum，可以用可視化手段理解機器學習模型所作的決策。2019年3月，OpenAI和谷歌發(fā)布了一項使機器學習算法決策可視化的開源技術。后來，谷歌又在2019年10月份發(fā)布了TensorBoard.dev，可以使機器學習模型的訓練過程可視化。

通過各家公司的不斷鉆研，神經網絡可視化技術將在未來繼續(xù)進步，讓我們拭目以待。