200年前的數(shù)學(xué)揭示了AI的神秘黑匣子

無(wú)論是設(shè)計(jì)微芯片還是構(gòu)建新的蛋白質(zhì)，神經(jīng)網(wǎng)絡(luò)似乎可以做任何事情。然而，令人不快的是，這些由大腦啟發(fā)的人工智能（AI）系統(tǒng)以神秘的方式工作，這引發(fā)了人們的擔(dān)憂，即他們所做的事情也可能毫無(wú)意義。

一項(xiàng)新的研究表明，已有200年歷史的數(shù)學(xué)方法或有助于揭示神經(jīng)網(wǎng)絡(luò)如何執(zhí)行諸如預(yù)測(cè)氣候或模擬湍流等復(fù)雜任務(wù)。研究人員表示，這反過(guò)來(lái)有助于提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和學(xué)習(xí)速度。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱(chēng)為神經(jīng)元的部件（類(lèi)似于人腦中的神經(jīng)元，因?yàn)樗鼈兪瞧湎到y(tǒng)的基本部件）通過(guò)數(shù)據(jù)和協(xié)作以解決問(wèn)題，例如識(shí)別人臉。如果神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元，則稱(chēng)之為“深層”。

長(zhǎng)期以來(lái)，神經(jīng)網(wǎng)絡(luò)得出結(jié)論的方式一直被認(rèn)為是一個(gè)神秘的黑匣子，也就是說(shuō)，網(wǎng)絡(luò)無(wú)法解釋它是如何得出結(jié)論的。休斯頓萊斯大學(xué)流體動(dòng)力學(xué)專(zhuān)家、研究高級(jí)作者Pedram Hassanzadeh表示，盡管研究人員已經(jīng)開(kāi)發(fā)出了檢查神經(jīng)網(wǎng)絡(luò)內(nèi)部工作的方法，但在涉及許多科學(xué)和工程應(yīng)用的網(wǎng)絡(luò)時(shí)，這些方法往往收效甚微。

為了分析設(shè)計(jì)用于物理的神經(jīng)網(wǎng)絡(luò)，Hassanzadeh和他的同事們嘗試使用物理中常用的數(shù)學(xué)技術(shù)。該方法被稱(chēng)為傅里葉分析（Fourier analysi），用于識(shí)別數(shù)據(jù)在空間和時(shí)間上的規(guī)則模式。

在這項(xiàng)新的研究中，研究人員對(duì)一個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)，該網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練，可以分析大氣中的空氣或海洋中的水中出現(xiàn)的復(fù)雜湍流，并預(yù)測(cè)這些湍流隨時(shí)間的變化。Hassanzadeh說(shuō)，更好地理解神經(jīng)網(wǎng)絡(luò)為分析這些復(fù)雜系統(tǒng)而學(xué)習(xí)的概念，有助于建立更精確的模型，而訓(xùn)練所需的數(shù)據(jù)更少。

科學(xué)家們對(duì)深度神經(jīng)網(wǎng)絡(luò)的控制方程進(jìn)行了傅里葉分析。每個(gè)模型大約有100萬(wàn)個(gè)參數(shù)，神經(jīng)元之間的連接就像乘數(shù)，在計(jì)算過(guò)程中調(diào)整這些方程中的特定運(yùn)算。這些參數(shù)被分為40000個(gè)五乘五矩陣，稱(chēng)為內(nèi)核。

未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的參數(shù)通常具有隨機(jī)值。在訓(xùn)練過(guò)程中，隨著神經(jīng)網(wǎng)絡(luò)逐漸學(xué)會(huì)計(jì)算越來(lái)越接近訓(xùn)練案例中已知結(jié)果的解，神經(jīng)網(wǎng)絡(luò)的參數(shù)會(huì)被修改和磨練。然后，研究人員可以使用經(jīng)過(guò)充分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)分析以前從未見(jiàn)過(guò)的數(shù)據(jù)。

自大約200年前傅里葉分析首次出現(xiàn)以來(lái)，研究人員還開(kāi)發(fā)了其他工具來(lái)分析數(shù)據(jù)中的模式，例如篩選背景噪聲的低通濾波器、幫助分析背景信號(hào)的高通濾波器，以及圖像處理中經(jīng)常使用的Gabor濾波器。

Hassanzadeh說(shuō)：“多年來(lái)，我們聽(tīng)說(shuō)神經(jīng)網(wǎng)絡(luò)是黑匣子，有太多的參數(shù)需要理解和分析。當(dāng)然，當(dāng)我們只是查看其中的一些參數(shù)時(shí)，它們沒(méi)有太多意義，而且看起來(lái)都不一樣?！?然而，在對(duì)所有這些核進(jìn)行傅立葉分析后，他說(shuō)，“我們意識(shí)到它們是這些光譜濾波器?！?/p>

多年來(lái)，科學(xué)家們一直試圖用該技術(shù)來(lái)分析氣候和湍流。然而，這些組合在對(duì)復(fù)雜系統(tǒng)進(jìn)行建模時(shí)往往并不成功。Hassanzadeh說(shuō)，神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了正確組合這些濾波器的方法。

Hassanzadeh解釋道：“許多氣候科學(xué)家和機(jī)器學(xué)習(xí)科學(xué)家小組正在美國(guó)和世界各地合作開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)增強(qiáng)氣候模型，即混合模型，使用傳統(tǒng)的偏微分方程求解器和神經(jīng)網(wǎng)絡(luò)一起進(jìn)行更快、更好的氣候預(yù)測(cè)?！?他補(bǔ)充道，傅里葉分析可以幫助科學(xué)家為這些目標(biāo)設(shè)計(jì)更好的神經(jīng)網(wǎng)絡(luò)，并幫助他們更好地理解氣候和湍流的基本物理情況。

Hassanzadeh說(shuō)，除了氣候和湍流模型，傅里葉分析可能有助于研究神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)用于分析廣泛的其他復(fù)雜系統(tǒng)。這些包括“噴氣發(fā)動(dòng)機(jī)內(nèi)的燃燒、風(fēng)電場(chǎng)內(nèi)的氣流、許多物質(zhì)、木星和其他行星的大氣層、等離子體、太陽(yáng)和地球內(nèi)部的對(duì)流等等”。Hassanzadeh說(shuō)，研究人員開(kāi)發(fā)了一個(gè)通用框架，以幫助將這種方法應(yīng)用于“任何物理系統(tǒng)和任何神經(jīng)網(wǎng)絡(luò)架構(gòu)”。

此外，這種方法可能有助于分析“用于圖像分類(lèi)或神經(jīng)科學(xué)的神經(jīng)網(wǎng)絡(luò)”，Hassanzadeh補(bǔ)充道。然而，他表示，“我們的工作在多大程度上揭開(kāi)了這些領(lǐng)域的情況，仍有待研究?！?/p>

當(dāng)涉及神經(jīng)網(wǎng)絡(luò)時(shí)，一個(gè)主要的問(wèn)題是它們的可推廣性如何，它們是否能夠分析不同于它們所訓(xùn)練的系統(tǒng)。用于幫助神經(jīng)網(wǎng)絡(luò)從一個(gè)系統(tǒng)外推到另一個(gè)系統(tǒng)的一種方法被稱(chēng)為轉(zhuǎn)移學(xué)習(xí)。這種方法專(zhuān)注于重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)中的少量關(guān)鍵神經(jīng)元，以幫助其分析其他系統(tǒng)。這些新發(fā)現(xiàn)可能會(huì)確定最佳的神經(jīng)元進(jìn)行再訓(xùn)練。

Hassanzadeh說(shuō)，特別是，轉(zhuǎn)移學(xué)習(xí)中的傳統(tǒng)智慧是，最好對(duì)最接近模型產(chǎn)生的輸出的最深層的神經(jīng)元進(jìn)行再訓(xùn)練。然而，這項(xiàng)新研究表明，當(dāng)涉及跨時(shí)間和空間數(shù)據(jù)模式的復(fù)雜系統(tǒng)時(shí)，他表示，重新訓(xùn)練最淺的層靠近模型接收的輸入可能會(huì)得到更好的性能，而重新訓(xùn)練最深的層可能會(huì)被證明完全無(wú)效。

Hassanzadeh說(shuō)，未來(lái)，研究人員的目標(biāo)是確定神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)組合濾波器以達(dá)到最佳結(jié)果。1月23日，他和他的同事在PNAS Nexus雜志上詳細(xì)介紹了他們的發(fā)現(xiàn)，https://academic.oup.com/pnasnexus/article/2/3/pgad015/6998042。

審核編輯 ：李倩