兩種方法通過加權(quán)將先驗物理知識減少或離散化為適合現(xiàn)有深度學(xué)習(xí)架構(gòu)的機(jī)制

深度學(xué)習(xí)目前仍有很大的局限性，其中之一就是無法結(jié)合先驗知識，如數(shù)學(xué)或物理學(xué)的基本定律。通常，必須從訓(xùn)練集中理解DL，這很難真正涵蓋足夠的先驗知識。而DL的一個賣點是，它不需要用算法編程; 而是通過一種優(yōu)化形式從這些訓(xùn)練集中抽離出智能。當(dāng)訓(xùn)練集足夠大，可以覆蓋目標(biāo)的核心時，這種方法是很有效的，但如果無法很好的引入其他變量(如旋轉(zhuǎn)或移動)，這種方法就不是很有效。 這是一個急需解決的局限性。

解決這個問題最簡單的方法是擴(kuò)大訓(xùn)練范圍以涵蓋更多變量。對于旋轉(zhuǎn)，可能需要108 * N個訓(xùn)練樣本來覆蓋3個旋轉(zhuǎn)軸和每個軸上的36個方向（0,10,20，......度），而N個樣本遠(yuǎn)遠(yuǎn)不夠。也就是說收集和標(biāo)記訓(xùn)練樣本的數(shù)量必須大幅增加。對于移動這個變量，如何訓(xùn)練ML來確定擊打母球時斯諾克臺球桌上其他球會怎么移動？ 利用訓(xùn)練重新發(fā)現(xiàn)牛頓300多年前編纂的東西似乎是對創(chuàng)造力的巨大浪費。

處理這些變量最好的方法是結(jié)合ML使用數(shù)學(xué)和物理學(xué)的先驗知識。 在計算機(jī)圖形學(xué)中，我們使用基于數(shù)學(xué)公式的算法推斷旋轉(zhuǎn)對視圖的影響。在斯諾克的例子中，我們使用了牛頓運動定律，再次在算法中編碼。這些算法捕獲了一些簡單的方程式，否則在追求無算法識別時就需要大量的訓(xùn)練集，這就是算法被淘汰的原因。

斯坦福大學(xué)的一篇論文中利用對彈丸力學(xué)的理解來識別和跟蹤被扔出去的枕頭在房間內(nèi)經(jīng)過的路徑。據(jù)悉，他們首先對一小段路徑進(jìn)行模型識別，然后利用約束來排除不遵循預(yù)期的二階運動方程的完整路徑。其實他們使用了一個經(jīng)典公式作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的約束條件。 這項研究顯示了在缺乏監(jiān)督的情況下進(jìn)行機(jī)器學(xué)習(xí)的希望。

奧地利科學(xué)與技術(shù)研究所的另一篇有趣的論文采用了一種完全不同的方法（通過ML）來建立機(jī)器人安全操作條件的模型（例如移動手臂或腿的范圍），這些模型基于從已知安全范圍的操作中學(xué)習(xí)簡單的公式。這些公式允許出現(xiàn)超出訓(xùn)練范圍的結(jié)果。 他們將此描述為“一種機(jī)器學(xué)習(xí)方法，這種方法可以準(zhǔn)確地推斷出無法準(zhǔn)確辨別的情況”。其實這種方法是通過在有界的空間中進(jìn)行實驗，以簡單線性方程的形式建立自己的先驗知識。

第三個例子來自索邦大學(xué)，他們提供了預(yù)測海面溫度（SST）的圖示。 海面溫度數(shù)據(jù)已經(jīng)通過衛(wèi)星圖像生成，可以提供大量的信息。預(yù)測這些數(shù)據(jù)將如何發(fā)展需要基于偏微分方程（PDE）及時更新數(shù)據(jù)，這是使用數(shù)值求解方法進(jìn)行預(yù)測的標(biāo)準(zhǔn)方法的基礎(chǔ)。該研究團(tuán)隊使用具有離散化版PDE方程的CDNN來指導(dǎo)網(wǎng)絡(luò)中時間傳播的加權(quán)。與數(shù)值方法和其他一些NN方法相比，他們的研究顯示更有希望看到結(jié)果。

因此，有兩種方法可以通過加權(quán)將先驗物理知識減少或離散化為適合現(xiàn)有深度學(xué)習(xí)架構(gòu)的機(jī)制，一種方法是推導(dǎo)出簡單方程以形成其自己的“先驗”知識基礎(chǔ)。不過在作者看來，Sorbonne方法似乎是最具擴(kuò)展性的，因為物理學(xué)中的幾乎所有問題都可以簡化為PDE。