如何發(fā)現(xiàn)AI+Science中的下一個AlphaFold和ChatGPT？

導(dǎo)語

從微觀到宏觀，跨越廣闊的空間和時間尺度，AI + Science 在發(fā)現(xiàn)基本粒子、量子計算、蛋白質(zhì)模擬、材料設(shè)計、可控核聚變、氣象預(yù)測、碳捕捉等政策設(shè)計、探索浩瀚宇宙等各個方面，都發(fā)揮著重要作用。一方面，各個科學(xué)領(lǐng)域中的重大問題為 AI 研究帶來全新的挑戰(zhàn)和機會；另一方面，最新的 AI 技術(shù)為解決科學(xué)領(lǐng)域的問題提供了強大的工具。

在集智俱樂部 AI + Science 讀書會第一期，斯坦福大學(xué)計算機科學(xué)系博士后研究員吳泰霖從 AI for Science 和 Science for AI 兩個方向，探討為何要將 AI 與 Science 結(jié)合，以及 AI + Science 下一步關(guān)注的重要問題和未來面對的挑戰(zhàn)。今天的文章整理自此次分享。

本文由第一期 AI + Science 讀書會第一期總結(jié)而成。在此次分享中，講者吳泰霖主要就以下幾個方面展開論述：

我們?yōu)槭裁匆懻?AI + Science？

AI for Science 關(guān)注的核心問題，以及前沿進展有哪些；

Science for AI 領(lǐng)域的核心問題，以及前沿進展有哪些；

AI + Science 下一步關(guān)注什么問題？

1. 我們?yōu)槭裁匆懻?AI + Science ？

AI + Science 這一領(lǐng)域可以分為 AI for Science 和 Science for AI 兩個部分。前者指利用AI技術(shù)為科學(xué)發(fā)現(xiàn)賦能，后者指利用科學(xué)知識設(shè)計出更強大的AI技術(shù)。 在 AI for Science 部分，許多前沿的AI技術(shù)可以幫助科學(xué)發(fā)現(xiàn)，主要包括： 1）在數(shù)值模擬方面提升速度和準(zhǔn)確性。如 DeepMind 提出的 GraphCast[1] 能通過輸入60秒的歷史天氣，預(yù)報未來10天的天氣，不僅在準(zhǔn)確度上極大優(yōu)于傳統(tǒng)預(yù)測手段，在運算效率上也有極大的提升。AlphaFold [2] 的提出將人類蛋白質(zhì)結(jié)構(gòu)預(yù)測的準(zhǔn)確度提升到了前所未有的水平。 2）幫助科學(xué)家探索科學(xué)框架的設(shè)計。我們可以讓AI去更大的設(shè)計空間搜索設(shè)計策略和控制優(yōu)化策略。比如近期發(fā)表在Nature 上的工作，使用深度強化學(xué)習(xí)控制核聚變反應(yīng)中的等離子體，第一次發(fā)現(xiàn)了全新的等離子體結(jié)構(gòu)[3]。 3）揭示未發(fā)現(xiàn)的科學(xué)定律和知識。比如近年的工作 AI Feynman2.0[4]，讓AI重新發(fā)現(xiàn)了《費曼物理學(xué)講義》中的100個物理方程，甚至還發(fā)現(xiàn)了新的方程。這類工作可能在很大程度上可以做到幫助人類加快科學(xué)發(fā)現(xiàn)。 更進一步來說，科學(xué)技術(shù)的進步對于人類而言，是解放生產(chǎn)力以及獲得可持續(xù)增長的重要方式之一。

[1]Lam, Remi, et al. "GraphCast: Learning skillful medium-range global weather forecasting." arXiv preprint arXiv:2212.12794 (2022). [2]Lumper, John, et al. "Highly accurate protein structure prediction with AlphaFold." Nature 596.7873 (2021): 583-589 [3]Degrave, Jonas, et al. "Magnetic control of tokamak plasmas through deep reinforcement learning." Nature 602.7897 (2022): 414-419 [4]AI Feynman 2.0 [1]: rediscover top-100 physics equations in Feynman lectures

在 Science for AI 方面，當(dāng)前的科學(xué)也可以為促進AI的發(fā)展提供非常有效的幫助，為AI技術(shù)帶來了新的挑戰(zhàn)。如許多物理、化學(xué)等科學(xué)問題面臨超大的狀態(tài)空間搜索，當(dāng)前的AI技術(shù)無法很好地解決。如何解決這些科學(xué)問題，對AI的發(fā)展提出了更大挑戰(zhàn)。 其次，基于一些科學(xué)先驗知識，我們也可以設(shè)計出更強大的AI模型，在這方面已經(jīng)有了很多工作。比如等變圖網(wǎng)絡(luò)[5]的提出，就是啟發(fā)于物理中的對稱性，使得模型可以在藥物分子建模等方面滿足需求。同樣在模型中引入對稱性的工作還有[6]，在不同的系統(tǒng)中都極大提高了分子動力學(xué)模擬器的性能。另外還有擴散模型[7]、能量模型[8]等，都對神經(jīng)網(wǎng)絡(luò)的建模提供了啟發(fā)。

[5] Victor Garcia Satorras, Emiel Hoogeboom, Max Welling,E(n) Equivariant Graph Neural Networks [2022] [6] Zhang L, Han J, Wang H, et al. Deep potential molecular dynamics: a scalable model with the accuracy of quantum mechanics. Physical review letters, 2018, 120(14): 143001. [7] Sohl-Dickstein J, Weiss E, Maheswaranathan N, et al. Deep unsupervised learning using nonequilibrium thermodynamics. [8] Greydanus, Samuel, Misko Dzamba, and Jason Yosinski. "Hamiltonian neural networks." Advances in neural information processing systems 32 (2019)

AI 和 Science 的結(jié)合是一種雙向的賦能，我們當(dāng)前還有許多事情可以做。下面本文將對上述提到的內(nèi)容進一步詳細展開論述。

2.AIfor Science

一方面是AI對科學(xué)的賦能。首先我們可以對科學(xué)做一個分解，這個過程首先是發(fā)現(xiàn)科學(xué)定律，并據(jù)此建立模型，這個過程在傳統(tǒng)范式中往往非常依賴科學(xué)家個人的洞察力，如開普勒定律和牛頓定律等；然后我們會根據(jù)這一模型去模擬真實世界，解釋更大范圍的事物；最后，我們會嘗試設(shè)計出新的系統(tǒng)，比如修改模型的參數(shù)，或者對系統(tǒng)進行實驗和干預(yù)等，對系統(tǒng)進行控制，對系統(tǒng)產(chǎn)生進一步的了解，從而為進一步的科學(xué)發(fā)現(xiàn)創(chuàng)造條件。 而在機器學(xué)習(xí)中同樣也存在這樣類似的步驟：通過數(shù)據(jù)驅(qū)動的方式發(fā)現(xiàn)一個模型；使用模型對系統(tǒng)進行模擬；最后可以通過控制等方式設(shè)計出新的系統(tǒng)。所以這二者的相似性就可以引出AI如何賦能科學(xué)的三個方面：科學(xué)仿真（Simulation）、科學(xué)設(shè)計（design）、科學(xué)發(fā)現(xiàn)（discovery）。

圖1. 科學(xué)仿真、科學(xué)設(shè)計與科學(xué)發(fā)現(xiàn)三階段與機器學(xué)習(xí)的對應(yīng) 2.1 AI 之于科學(xué)仿真 科學(xué)仿真是指用數(shù)值模擬的形式，在給定系統(tǒng)初始狀態(tài)，邊界條件以及參數(shù)的時候，模擬系統(tǒng)的動力學(xué)或者穩(wěn)態(tài)。而通過引入機器學(xué)習(xí)的方法，模擬的速度和精度都會得到極大的提高。

圖2. 動力系統(tǒng)仿真示意圖。μt是系統(tǒng)的初始狀態(tài)，可以是一個連續(xù)函數(shù)，或者一個圖；f*是演化動力學(xué)，可以是偏微分方程的演化，或者是真實世界的演化；a 是系統(tǒng)不隨時間變化的靜態(tài)參數(shù)；?X是系統(tǒng)的邊界條件。

在科學(xué)仿真過程中，我們首先關(guān)心的問題是希望做到精確模擬。我們可以用傳統(tǒng)的方式，基于第一性原理建立偏微分方程，然后求解。這樣做的好處是解釋性高，并且求解精度有理論保證。但缺陷是運算慢，而且對于很多復(fù)雜的系統(tǒng)，可能難以求解，甚至難以寫出偏微分方程。 我們也可以考慮用純數(shù)據(jù)驅(qū)動的方式，將圖1中的f*動力學(xué)參數(shù)化，用神經(jīng)網(wǎng)絡(luò)強大的擬合能力學(xué)習(xí)出一個f(θ)，使其盡可能接近真實的動力學(xué)。 不過，一個更好的方式是，我們可以取兩者的長處，即保留神經(jīng)網(wǎng)絡(luò)的運算能力，同時也加入一些物理先驗信息對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行約束，或者使用更符合物理直覺的訓(xùn)練方式，使得模型的表現(xiàn)更好。 比如圖神經(jīng)網(wǎng)絡(luò)通過引入圖結(jié)構(gòu)的先驗信息，即事先給定微觀粒子之間的相互作用關(guān)系，從而提升神經(jīng)網(wǎng)絡(luò)的預(yù)測能力。這里就我們以一系列基于GNN的工作為例，展開論述GNN在科學(xué)仿真領(lǐng)域的進展。 首先是 DeepMind 提出了一種圖網(wǎng)絡(luò)模擬器（Graph Network Simulator，GNS）[8]，模擬粒子物理系統(tǒng)，可以應(yīng)用于流體力學(xué)或者計算圖形學(xué)等領(lǐng)域的模擬。具體架構(gòu)如下圖所示。首先根據(jù)先驗信息建立一個圖，然后基于消息傳遞（Message Passing）機制更新節(jié)點的特征，這里的“消息”可以代表粒子之間的相互作用關(guān)系，通過神經(jīng)網(wǎng)絡(luò)的映射，實現(xiàn)粒子狀態(tài)的更新，最終實現(xiàn)模擬粒子通過相互作用發(fā)生運動的動力學(xué)過程。

圖3. 使用圖神經(jīng)網(wǎng)絡(luò)模擬復(fù)雜系統(tǒng)。| 圖片來源: Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020. http://proceedings.mlr.press/v119/sanchez-gonzalez20a/sanchez-gonzalez20a.pdf

隨后提出的 HGNS （Hybrid Graph Network Simulator）方法 [9] 則通過引入多步預(yù)測，和 sector-based 訓(xùn)練技巧，使得神經(jīng)網(wǎng)絡(luò)可以在更加復(fù)雜的系統(tǒng)上進行模擬。前文提到的天氣預(yù)報模型 GraphCast[1]，則進一步引入多尺度信息，從而實現(xiàn)大規(guī)模和大尺度的預(yù)測效果。 另外一個基于網(wǎng)格的仿真（mesh-based simulation）也使用了圖網(wǎng)絡(luò)建模[10]，它們除了引入網(wǎng)格網(wǎng)絡(luò)之外，還基于位置信息引入了不同網(wǎng)格之間的相互作用。這種建模方式也被證明在網(wǎng)格數(shù)據(jù)中有非常好的預(yù)測效果。這篇工作發(fā)表在了2021年的 ICLR 上。而后續(xù)也有對其進行的改進工作，比如通過引入一個調(diào)控參數(shù)，用來平衡預(yù)測準(zhǔn)確度與預(yù)測精度[11]。

當(dāng)然該領(lǐng)域還有一系列其他優(yōu)秀的工作，比如基于對稱性提出的等變圖網(wǎng)絡(luò)（equivariant graph）[5]，引入動量守恒的約束從而提高準(zhǔn)確度[6, 12]。而除了圖神經(jīng)網(wǎng)絡(luò)之外，還有可以引入無限維函數(shù)（infinite dimensional function）建模狀態(tài)空間，引入傅里葉神經(jīng)算子[13]等等，無法在此窮舉展示。

[8]Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020. [9] Wu, Tailin, et al. "Learning large-scale subsurface simulations with a hybrid graph network simulator." SIGKDD 2022 [10]Lam C Y, Lu J R, Udalski A, et al. An Isolated Mass-gap Black Hole or Neutron Star Detected with Astrometric Microlensing[J]. The Astrophysical Journal Letters, 2022, 933(1): L23. 11]Pfaff, Tobias, et al. "Learning mesh-based simulation with graph networks." ICLR 2021 [11]Wu T, Wang Q, Zhang Y, et al. Learning large-scale subsurface simulations with a hybrid graph network simulator. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 4184-4194. [12]Prantl L, Ummenhofer B, Koltun V, et al. Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics. NeurIPS 2022 [13]Li, Zongyi, et al. "Fourier neural operator for parametric partial differential equations." ICLR2021

在仿真領(lǐng)域，我們關(guān)心的另一個問題是，求解出系統(tǒng)的穩(wěn)定狀態(tài)。這在材料、凝聚態(tài)物理等領(lǐng)域是非常重要的問題。對于這類問題，模型的輸入就是一個邊界條件，輸出就是系統(tǒng)的穩(wěn)態(tài)。比如像蛋白質(zhì)折疊問題，我們關(guān)心的是最終結(jié)構(gòu)，而不關(guān)心折疊的過程。一個好的方法就是使用神經(jīng)算子（neural operators）進行求解[14-16]。

圖4. 根據(jù)系統(tǒng)邊界條件和參數(shù)，求解系統(tǒng)穩(wěn)定狀態(tài)圖示

[14]Li, Zongyi, et al. "Fourier neural operator for parametric partial differential equations." ICLR2021 [15] Li, Zongyi, et al. "Neural operator: Graph kernel network for partial differential equations." arXivpreprint arXiv:2003.03485 (2020). [16]Raissi et al., Journal of Computational physics 378 (2019): 686-707

關(guān)于科學(xué)仿真這個大領(lǐng)域，除對于科學(xué)問題來說有重要意義之外，其實背后還有更大的圖景。比如數(shù)字孿生，我們可以設(shè)想在制造業(yè)中造一個數(shù)字孿生體，完全模擬生產(chǎn)過程的發(fā)動機結(jié)構(gòu)、系統(tǒng)狀態(tài)、系統(tǒng)演化等等整個流程，從而實現(xiàn)對系統(tǒng)進行實時監(jiān)測和調(diào)控。

圖5. 數(shù)字孿生和元宇宙 2.2 AI 之于科學(xué)設(shè)計 對于科學(xué)設(shè)計，在此處可以定義為，我們設(shè)置一個目標(biāo)，希望可以通過某些方式，讓神經(jīng)網(wǎng)絡(luò)自動找到可以實現(xiàn)這一目標(biāo)的初始條件，如蛋白質(zhì)結(jié)構(gòu)設(shè)計；或者找到邊界條件，如設(shè)計飛機的形狀；亦或者外部控制條件，如調(diào)控全球變暖。

圖6. 科學(xué)設(shè)計的框架圖 具體實現(xiàn)方式包括如下幾種： a) 可以用學(xué)習(xí)好的模擬器作為一個內(nèi)部優(yōu)化循環(huán)，實現(xiàn)邊界條件的確定。比如前文提到的，基于圖網(wǎng)絡(luò)的模擬器GNS就屬于這類方法 [8]。

圖7. GNS實現(xiàn)粒子運動路徑的優(yōu)化 b) 可以通過迭代的形式實現(xiàn)收斂，如 diffusion model，從一個隨機分布開始，最終收斂到我們想要的分布。工作[17]是使用幾何圖網(wǎng)絡(luò)（Geomeric Graph Neural Network），結(jié)合擴散模型實現(xiàn)等變圖的生成任務(wù)。對藥物生成有很強的現(xiàn)實意義。

圖8. 基于擴散模型的等變圖生成 c) 可直接映射，比如使用 transformer 直接學(xué)習(xí)邊界條件或者系統(tǒng)參數(shù)到目標(biāo)的映射 [18]。

圖9. 直接映射 d) 通過強化學(xué)習(xí)直接設(shè)計系統(tǒng)本身 [19,20]，比如在分子設(shè)計這一任務(wù)上，可以通過強化學(xué)習(xí)的方式逐一加入原子。還有前面提到的系統(tǒng)控制等任務(wù)，也是強化學(xué)習(xí)的強項。

圖10. 基于強化學(xué)習(xí)的系統(tǒng)設(shè)計 而實際使用也并不局限于以上提到的方法和模型。并且同樣，AI對于科學(xué)設(shè)計的增強也使得我們解決數(shù)字孿生這樣的大問題有了進一步潛力。

[17]Xu, Minkai, et al. "Geodiff: A geometric diffusion model for molecular conformation [18]Guo, Ruchi, Shuhao Cao, and Long Chen. "Transformer meets boundary value inverse problems." NeurIPS 2022 [19]You, Jiaxuan, et al. "Graph convolutional policy network for goal-directed molecular graph generation." Advances in neural information processing systems 31 (2018). [20]Degrave, Jonas, et al. "Magnetic control of tokamak plasmas through deep reinforcement learning." Nature 602.7897

2.3 AI 之于科學(xué)發(fā)現(xiàn) 科學(xué)家是如何實現(xiàn)科學(xué)發(fā)現(xiàn)的呢。伽利略發(fā)現(xiàn)單擺周期規(guī)律的過程，首先是通過觀察教堂的臺燈擺動為靈感，發(fā)現(xiàn)臺燈的擺動周期是固定的，并且和擺動的幅度沒有關(guān)系。然后他將這一過程抽象為了一個單擺運動，在這一系統(tǒng)上總結(jié)出了一些定量的規(guī)律。最后，再將這一過程向所有類似的系統(tǒng)中進行泛化。 所以，根據(jù)這一例子我們可以總結(jié)來看，科學(xué)發(fā)現(xiàn)的步驟可以大致分為：概念的發(fā)現(xiàn)，規(guī)律的總結(jié)，以及概念的泛化這幾個步驟（如圖11所示）：

圖11. 科學(xué)發(fā)現(xiàn)的環(huán)節(jié)及其之間的關(guān)系 首先第一個步驟，發(fā)現(xiàn)概念、表示或者性質(zhì)。比如我們需要對細胞的分類進行辨識、分類、表示，或發(fā)現(xiàn)系統(tǒng)的因果結(jié)構(gòu)，或者發(fā)現(xiàn)系統(tǒng)的對稱性等性質(zhì)等等。而AI在表征學(xué)習(xí)、分類學(xué)習(xí)、因果發(fā)現(xiàn)等領(lǐng)域都能夠幫助我們在這一個步驟的能力得到增強。近期劉子鳴等人的工作使用機器學(xué)習(xí)算法發(fā)現(xiàn)了守恒律 [21]。 其次是發(fā)現(xiàn)概念之間的關(guān)系，即物理定律發(fā)現(xiàn)的過程。我們也可以使用數(shù)據(jù)驅(qū)動的方式發(fā)現(xiàn)公式。這里涉及到符號回歸相關(guān)的技術(shù)，也有了相當(dāng)一部分的工作，比如前文提到的AI費曼2.0等 [22-24]。 最后是概念的泛化。這可以對應(yīng)的例子是，將能量模型（Energy-based model）累加后得到更復(fù)雜的模型[25，26]，從而獲得更好的效果。以及 few-shot 學(xué)習(xí)[27]，大模型中上下文學(xué)習(xí)的使用等 [28]，都可以做到將模型泛化到更復(fù)雜的概念和使用場景中。

圖12. 使用符號回歸發(fā)現(xiàn)物理定律。| 來源：Udrescu, Silviu-Marian, et al. "AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity." NeurIPS 2020 https://arxiv.org/abs/2006.10782

[21]Liu, Ziming, and Max Tegmark. "Machine learning conservation laws from trajectories." Physical Review Letters 126.18 (2021): 180604. [22]Udrescu, Silviu-Marian, et al. "AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity." NeurIPS 2020 [23] Wu, Tailin, and Max Tegmark. "Toward an artificial intelligence physicist for unsupervised learning." Physical Review E 100.3 (2019): 033311. [24] Mundhenk, Terrell, et al. "Symbolic regression via deep reinforcement learning enhanced genetic programming seeding." NeurIPS 2021 [25] Du, Yilun, Shuang Li, and Igor Mordatch. "Compositional visual generation with energy based models." NeurIPS 2020 [26] Wu, Tailin, et al. "Zeroc: A neuro-symbolic model for zero-shot concept recognition and acquisition at inference time." NeurIPS 2022 [27] Cao, Kaidi, Maria Brbic, and Jure Leskovec. "Concept learners for few-shot learning." ICLR 2021 [28] Brown, Tom, et al. "Language models are few-shot learners." NeurIPS 2020

3. Science for AI

對于科學(xué)增強AI這一部分內(nèi)容，核心觀點在于，我們可以將科學(xué)中的很多概念或定律作為先驗知識或約束引入AI模型，使得模型表現(xiàn)出更強大的效果，圖5展示了部分科學(xué)概念引入AI模型，并為AI模型取得重大突破的例子。 在讀書會后續(xù)的分享中，會展開介紹其中一些重要的分支。比如物理啟發(fā)的生成模型，包括能量模型、擴散模型、量子生成模型等[29]，以及一些物理啟發(fā)的學(xué)習(xí)理論，如相變、場論等理論啟發(fā)的學(xué)習(xí)模型[30]。

圖13. 科學(xué)概念對于AI模型的增強

[29] Xu, Yilun, et al. "Poisson flow generative models." NeurIPS 2022 [30] Liu, Ziming, et al. "Towards understanding grokking: An effective theory of representation learning." Advances in Neural Information Processing Systems 35 (2022): 34651-34663.

4. AI + Science 下一步關(guān)注什么問題？

AI+Science是一個逐漸興起的研究方向。在這個領(lǐng)域我們接下來應(yīng)該關(guān)注的是什么問題呢？講者認(rèn)為，一個足夠重要且有潛力的問題應(yīng)該滿足以下幾個條件：

1）普適且影響深遠。也就是說這個問題的解決方案可以被用于解決其他很多問題。

2）這個問題本身可能目前看起來是模糊的，但在2-3年內(nèi)是有希望解決的；

3）有充足的數(shù)據(jù)；

4）有明確的評價目標(biāo)； 可以看到，像 ChatGPT 和 AlphaFold 其實都滿足這樣的條件，現(xiàn)如今它們也確實成為了AI技術(shù)的現(xiàn)象級產(chǎn)品?；蛟S沿著這一思路，下一個 ChatGPT 和 AlphaFold 也將很快出現(xiàn)。吳泰霖老師也在分享時提出了自己的想法：我們是否能夠創(chuàng)建一個集成平臺，我們只需要給出一些文本命令或者函數(shù)形式，這個平臺就能夠自動設(shè)計出符合我們要求的系統(tǒng)，比如發(fā)動機的形狀，或者給出系統(tǒng)最優(yōu)的參數(shù)等。 AI + Science 正方興未艾，AI和科學(xué)的結(jié)合僅被挖掘出了冰山一角，而AI的迅速發(fā)展又能給二者結(jié)合的效能提供強有力的潛力。對于AI + Science，這是一個最好的時代。

審核編輯 ：李倩