機(jī)器學(xué)習(xí)引發(fā)對科學(xué)見解的反思簡析

數(shù)學(xué)和物理是一對老朋友。長期以來，它們見證了技術(shù)發(fā)展的起落，包括計(jì)算尺、計(jì)算器和Wolfram Alpha等輔助工具。如今，隨著機(jī)器學(xué)習(xí)的最新進(jìn)展應(yīng)用于解決數(shù)學(xué)和物理問題，這些進(jìn)展提出了一個(gè)根本性的問題：讓算法學(xué)會我們思考方式有何意義？

為什么要這么做？

“計(jì)算機(jī)非常擅長數(shù)學(xué)，指的是它們很擅長解決非常具體的問題?！惫雀柩芯吭旱臋C(jī)器學(xué)習(xí)專家蓋伊?古爾阿里（Guy Gur-Ari）說。計(jì)算機(jī)擅長運(yùn)算，填入數(shù)字并計(jì)算是相對簡單的。但在形式結(jié)構(gòu)之外，計(jì)算機(jī)則舉步維艱。

解決數(shù)學(xué)文字問題或“定量推理”看起來比較棘手，因?yàn)樗枰鼮榉€(wěn)健和嚴(yán)密，而解決許多其他問題也許并不需要。雖然機(jī)器學(xué)習(xí)模型接受訓(xùn)練的數(shù)據(jù)越多，產(chǎn)生的錯(cuò)誤越少，但對于定量推理，改進(jìn)的程度卻很有限。研究人員開始意識到，對于機(jī)器學(xué)習(xí)生成模型在解決語言文字問題時(shí)產(chǎn)生的錯(cuò)誤，需要更有針對性的方法。

2021年，來自加州大學(xué)伯克利分校和OpenAI的兩個(gè)不同團(tuán)隊(duì)分別發(fā)布了MATH和GSM8K兩個(gè)數(shù)據(jù)集，這兩個(gè)數(shù)據(jù)集包含了涉及幾何、代數(shù)和微積分基礎(chǔ)等的數(shù)千個(gè)數(shù)學(xué)問題。“我們就是想要看看，數(shù)據(jù)集是否有問題?！痹?a target="_blank">人工智能安全中心研究MATH的研究員史蒂文?巴薩特（Steven Basart）說。用格式更好的、更大的數(shù)據(jù)集進(jìn)行訓(xùn)練，是否能夠修復(fù)機(jī)器學(xué)習(xí)定量推理的錯(cuò)誤？MATH團(tuán)隊(duì)發(fā)現(xiàn)，定量推理對最高級的機(jī)器學(xué)習(xí)語言模型也頗具挑戰(zhàn)，其得分不到7%。（人類研究生的得分為40%，而國際數(shù)學(xué)奧林匹克競賽冠軍的得分為90%。）

GSM8K數(shù)據(jù)集則是更簡單的小學(xué)階段問題，受訓(xùn)模型的準(zhǔn)確率達(dá)到了約20%。為了實(shí)現(xiàn)這種準(zhǔn)確率，OpenAI的研究人員使用了兩種技術(shù)：精調(diào)和驗(yàn)證。在精調(diào)中，研究人員采用一個(gè)包含不相關(guān)信息的預(yù)訓(xùn)練語言模型，在訓(xùn)練中僅展示相關(guān)信息（數(shù)學(xué)問題）；驗(yàn)證則允許模型重新審視其錯(cuò)誤。

當(dāng)時(shí)，OpenAI預(yù)測，需要使用100倍的數(shù)據(jù)對模型進(jìn)行訓(xùn)練，才能在GSM8K上達(dá)到80%的準(zhǔn)確率。但2022年6月，谷歌的Minerva宣布，小規(guī)模擴(kuò)大訓(xùn)練即可實(shí)現(xiàn)78%的準(zhǔn)確率。OpenAI的機(jī)器學(xué)習(xí)專家卡爾·科布（Karl Cobbe）說：“這超出我們所有的預(yù)期?！卑退_特表示同意，他說：“這太令人震驚了，我還以為要花很長的時(shí)間?！?br />
Minerva使用了谷歌自己的通路語言模型（PaLM），根據(jù)來自arXiv的科學(xué)論文和其他來源進(jìn)行格式化數(shù)學(xué)精調(diào)。此外，幫助Minerva的還有另外兩個(gè)策略。在“思維鏈提示”中，要求Minerva將較大的問題分解為更容易接受的小問題。該模型還使用多數(shù)投票，而不是僅要它提供一個(gè)答案或?qū)⒁粋€(gè)問題解算100次。在這些結(jié)果中，Minerva選出最常見的答案。

這些新策略帶來了巨大的好處。Minerva在MATH上實(shí)現(xiàn)了高達(dá)50%的準(zhǔn)確率，在GSM8K上的準(zhǔn)確率接近80%。在MMLU上也是這樣，MMLU是一個(gè)包含化學(xué)和生物的STEM普通問題集。對問題略微調(diào)整后隨機(jī)取樣，讓Minerva重新進(jìn)行計(jì)算，其表現(xiàn)也很好，這表明，這個(gè)能力不僅源自記憶。

關(guān)于數(shù)學(xué)，Minerva了解哪些、不了解哪些，是很模糊的。這與數(shù)學(xué)家使用的帶有內(nèi)置結(jié)構(gòu)的“證明助手”不同，Minerva和其他語言模型沒有形式結(jié)構(gòu)。它們可能會產(chǎn)生奇怪、混亂的推理，但仍然可得出正確的答案。隨著數(shù)字的增大，語言模型的準(zhǔn)確度會下降，這對于可靠的老式TI-84 Plus計(jì)算器，是絕不會發(fā)生的。

“它到底是聰明？還是不聰明？”科布問。雖然像Minerva一樣的模型也許能夠得出與人類一樣的答案，但其遵循的實(shí)際過程可能完全不相同。另一方面，曾被要求“展示自己的作業(yè)”的學(xué)生都很熟悉“思維鏈提示”。

谷歌研究院的機(jī)器學(xué)習(xí)專家伊桑?戴爾（Ethan Dyer）說：“我認(rèn)為人們有這樣一個(gè)概念，做數(shù)學(xué)的人有某種嚴(yán)格的推理系統(tǒng)，在已知和未知之間有明顯的區(qū)別?！钡艘部赡艿贸霾灰恢碌拇鸢?、會犯錯(cuò)誤和未能應(yīng)用核心概念。在機(jī)器學(xué)習(xí)的這一前沿，邊界是模糊的。

像物理學(xué)家一樣思考

粒子物理的數(shù)據(jù)與眾不同。雖然已經(jīng)證實(shí)卷積神經(jīng)網(wǎng)絡(luò)（CNN）對樹木、貓和食物等日常物體圖片的分類非常高效，但它并不適合粒子碰撞。加州大學(xué)圣地亞哥分校的粒子物理學(xué)家哈維爾?杜爾特（Javier Duarte）表示，問題在于來自大型強(qiáng)子對撞機(jī)（LHC）的碰撞數(shù)據(jù)無法作為圖像。

華而不實(shí)地描述LHC碰撞可誤導(dǎo)甚至堵塞整個(gè)探測器。實(shí)際上，在數(shù)百萬個(gè)輸入中只有少量幾個(gè)輸入在記錄信號，就像白屏中有幾個(gè)黑色像素。這導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)中的圖像質(zhì)量很差，但在一個(gè)被稱為圖形神經(jīng)網(wǎng)絡(luò)（GNN）的不同新框架中，效果則很好。

除了格式奇怪以外，還有大量的數(shù)據(jù)，大約為每秒約1拍字節(jié)，其中只有少量高質(zhì)量數(shù)據(jù)被保存下來。為了更好地篩選數(shù)據(jù)，研究人員想要訓(xùn)練更敏銳的算法。杜爾特說，要想提高效率，這種算法要具備驚人的速度，在微秒內(nèi)執(zhí)行。剪裁和量化等機(jī)器學(xué)習(xí)技術(shù)能使算法達(dá)到目標(biāo)。

借助機(jī)器學(xué)習(xí)，粒子物理學(xué)家可以從不同的角度觀察數(shù)據(jù)。他們不僅關(guān)注單個(gè)事件，還學(xué)習(xí)和思考碰撞期間發(fā)生的幾十個(gè)其他事件，例如希格斯玻色子衰變?yōu)閮蓚€(gè)光子。雖然任意兩個(gè)事件之間沒有因果關(guān)系，但研究人員現(xiàn)在接受一個(gè)更全面的數(shù)據(jù)視圖，而不僅是單個(gè)事件分析得出的零碎視圖。

更引人注目的是，機(jī)器學(xué)習(xí)還迫使物理學(xué)家重新審視基本概念。麻省理工學(xué)院的理論粒子物理學(xué)家杰西?泰勒（Jesse Thaler）說：“過去，我自己對對稱性的看法不嚴(yán)密，強(qiáng)迫自己教授計(jì)算機(jī)什么是對稱，也是幫助自己理解對稱到底是什么?！睂ΨQ需要參考系，換言之，鏡子中變形的球體圖像到底是否對稱？如果不知道鏡子本身是否變形，就無法知道答案。

粒子物理學(xué)中的機(jī)器學(xué)習(xí)仍然處于早期階段，實(shí)際上，研究人員現(xiàn)在對待相關(guān)技術(shù)就像對待廚房的洗碗池。杜爾特承認(rèn)：“它也許不適合粒子物理學(xué)中的每一個(gè)問題?！?br />
在一些粒子物理學(xué)家深入研究機(jī)器學(xué)習(xí)的同時(shí)，腦中浮現(xiàn)出一個(gè)令人不安的問題：他們是在研究物理學(xué)還是在研究計(jì)算機(jī)科學(xué)？往往不被視為“真正的物理學(xué)”的編程已經(jīng)存在；類似的擔(dān)憂也在困擾機(jī)器學(xué)習(xí)。有的研究人員擔(dān)心機(jī)器學(xué)習(xí)會遮掩非常復(fù)雜的情況，他們正在構(gòu)建算法，使用人類能夠理解的語言來提供反饋。而算法也許不是唯一負(fù)責(zé)溝通的主體。

泰勒說：“另一方面，我們希望機(jī)器能夠?qū)W習(xí)如何像物理學(xué)家那樣思考。我們也要多學(xué)習(xí)如何像機(jī)器那樣思考。我們需要學(xué)會講對方的語言?！?/p>

審核編輯：劉清