AI很聰明？有時(shí)候計(jì)算加法的水平還不如高中生

AI很聰明？有時(shí)計(jì)算加法的水平還不如高中生

谷歌的DeepMind的研究人員建立了兩種不同類型的最先進(jìn)的神經(jīng)網(wǎng)絡(luò)，看看它們能否被訓(xùn)練來回答高中數(shù)學(xué)問題。結(jié)果是E級(jí)，沒有把6以上的個(gè)位數(shù)相加。

你會(huì)算下面這道題嗎？

1+1+1+1+1+1+1等于多少？

如果你的答案是7，那么恭喜你，正確，而且你的數(shù)學(xué)要比目前最先進(jìn)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)要出色。

我沒有開玩笑，根據(jù)國(guó)外媒體報(bào)道，谷歌旗下DeepMind的人工智能研究人員本周發(fā)表了一項(xiàng)研究，他們?cè)噲D訓(xùn)練神經(jīng)網(wǎng)絡(luò)來解決算術(shù)、代數(shù)和微積分的基本問題。這類問題通常是對(duì)高中生的測(cè)試。

但是神經(jīng)網(wǎng)絡(luò)的表現(xiàn)并不好。除了不正確地猜出上述問題的答案為6外，神經(jīng)網(wǎng)絡(luò)在一次標(biāo)準(zhǔn)測(cè)試中只答對(duì)了40道題中的14道。

研究人員指出，這相當(dāng)于英國(guó)16歲學(xué)生的E級(jí)。

基本上，在這一點(diǎn)上，人工智能很難真正學(xué)習(xí)任何基礎(chǔ)數(shù)學(xué)。

這篇名為“分析神經(jīng)模型的數(shù)學(xué)推理能力”的論文被創(chuàng)建為一個(gè)基準(zhǔn)測(cè)試集，其他人可以在此基礎(chǔ)上構(gòu)建神經(jīng)網(wǎng)絡(luò)來進(jìn)行數(shù)學(xué)學(xué)習(xí)，就像ImageNet被創(chuàng)建為一個(gè)圖像識(shí)別基準(zhǔn)測(cè)試一樣。

引用紐約大學(xué)著名的神經(jīng)網(wǎng)絡(luò)評(píng)論家Gary Marcus的話，作者提到了著名的神經(jīng)網(wǎng)絡(luò)的“脆弱性”，并主張調(diào)查為什么人類能夠更好地執(zhí)行“關(guān)于對(duì)象和實(shí)體的離散成分推理，這是代數(shù)上的概括”。

他們提出了一系列不同的數(shù)學(xué)問題，這些問題應(yīng)該促使神經(jīng)網(wǎng)絡(luò)獲得這樣的推理，其中包括“規(guī)劃(例如，按照正確的組合順序識(shí)別函數(shù))”，當(dāng)一個(gè)數(shù)學(xué)問題的部分可能是關(guān)聯(lián)的，也可能不是分配的，也可能不是交換的。

他們寫道:“如果一個(gè)模型不具備至少一部分代數(shù)泛化的能力，它就很難在一系列問題類型中做得很好?！币虼?，數(shù)據(jù)集。

他們提出了一系列問題，沒有一個(gè)涉及幾何，也沒有一個(gè)是口頭問題：

42*r+27*c =-1167和130*r+4*c=372，求r等于多少。

答案：4

作者綜合了這些數(shù)據(jù)集，而不是將它們眾包，因?yàn)檫@樣很容易獲得大量的例子。他們將問題以“自由形式”的句子形式提交給計(jì)算機(jī)，這樣計(jì)算機(jī)就不會(huì)以任何方式將問題解析得更容易，比如“樹”或“圖”數(shù)據(jù)形式。

這些問題的基礎(chǔ)是“美國(guó)學(xué)校數(shù)學(xué)課程(16歲以下)，僅限于文本問題(因此不包括幾何問題)，它提供了作為學(xué)習(xí)課程一部分的廣泛數(shù)學(xué)主題?！彼麄儗懙?，他們加強(qiáng)了基礎(chǔ)課程，提出了“為代數(shù)推理提供良好測(cè)試”的問題。

他們指出，為了訓(xùn)練一個(gè)模型，他們本可以賦予一些神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)能力，但關(guān)鍵是讓它從無到有，并建立數(shù)學(xué)能力。因此，他們或多或少采用了標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)。

他們寫道:“我們感興趣的是評(píng)估通用模型，而不是那些已經(jīng)具備數(shù)學(xué)知識(shí)的模型?！?/p>

“從翻譯到通過圖像標(biāo)題進(jìn)行解析，這些模型(通常是神經(jīng)結(jié)構(gòu))如此普遍的原因在于，由于這些函數(shù)近似器的設(shè)計(jì)中編碼的領(lǐng)域特定知識(shí)相對(duì)較少(或沒有)，所以它們沒有偏見?！?/p>

作者構(gòu)建了兩種不同的“最先進(jìn)的”神經(jīng)網(wǎng)絡(luò)來解析、嵌入并回答這些問題。一種是“長(zhǎng)短時(shí)記憶”(LSTM)神經(jīng)網(wǎng)絡(luò)，它擅長(zhǎng)處理順序類型的數(shù)據(jù)，由Sepp Hochreiter和Jurgen Schmidhuber在20世紀(jì)90年代開發(fā)。

他們還訓(xùn)練了所謂的“轉(zhuǎn)換器”，這是谷歌開發(fā)的一種較新的遞歸神經(jīng)網(wǎng)絡(luò)，在處理各種任務(wù)時(shí)越來越受歡迎，比如嵌入文本序列來處理自然語言。

他們給了神經(jīng)網(wǎng)絡(luò)一些時(shí)間來思考，因?yàn)椤澳Ｐ涂赡苄枰ㄙM(fèi)幾個(gè)計(jì)算步驟來整合問題中的信息”。

“為了實(shí)現(xiàn)這一點(diǎn)，我們?cè)谳敵龃鸢钢疤砑恿祟~外的步驟(零輸入)?！?/p>

結(jié)果一般。例如，回到本文開頭的問題，當(dāng)數(shù)字超過前六個(gè)計(jì)數(shù)數(shù)字時(shí)，基本加法就失敗了。作者表示，他們“測(cè)試了添加1 + 1 ++ 1的模型，其中1出現(xiàn)n次。

“LSTM和Transformer模型都給出了n≤6的正確答案，但n = 7的錯(cuò)誤答案是6(似乎漏掉了一個(gè)1)，n > 7的其他錯(cuò)誤值也是6。”

這是為什么呢?就像神經(jīng)網(wǎng)絡(luò)經(jīng)常發(fā)生的情況一樣，一些其他的事情似乎正在幕后發(fā)生，因?yàn)楫?dāng)把更大的數(shù)以更長(zhǎng)的序列相加時(shí)，比如34+53+…+936等等，神經(jīng)網(wǎng)絡(luò)能夠做得很好，作者觀察到。

“我們對(duì)這種行為沒有一個(gè)很好的解釋，”他們寫道。他們假設(shè)，當(dāng)他們分析問題并對(duì)其進(jìn)行操作時(shí)，神經(jīng)網(wǎng)絡(luò)正在創(chuàng)建“子和”，而當(dāng)他們失敗時(shí)，這是因?yàn)椤拜斎氡弧畟窝b’了，由重復(fù)多次的相同數(shù)字組成”。

一般來說，神經(jīng)網(wǎng)絡(luò)在一些事情上做得最好，比如在一個(gè)長(zhǎng)數(shù)字中找到“位置值”，比如，在一個(gè)數(shù)字中找出“十位”，比如9343012。他們也擅長(zhǎng)四舍五入十進(jìn)制數(shù)和按大小順序排序。

對(duì)這個(gè)系統(tǒng)來說，最難的問題是“數(shù)字理論問題”，比如因式分解，把數(shù)字或其他數(shù)學(xué)對(duì)象分解成組成部分，以及判斷一個(gè)數(shù)字是否是質(zhì)數(shù)。但他們指出，人類在這方面也有困難，所以這并不奇怪。另一個(gè)問題是“混合算術(shù)”的組合，所有四種運(yùn)算都在這里進(jìn)行。在那里，機(jī)器的性能精度“下降到50%左右”。

為什么計(jì)算機(jī)在做加法或減法的時(shí)候做得很好，但當(dāng)被要求做所有這些時(shí)卻感到困惑?

“我們推測(cè)，這些模塊之間的區(qū)別在于，前者可以用一種相對(duì)線性/淺層/并行的方式計(jì)算(因此通過梯度下降法相對(duì)更容易發(fā)現(xiàn)求解方法)，”作者沉思道，“而用括號(hào)計(jì)算混合算術(shù)表達(dá)式?jīng)]有捷徑。”

總而言之，在高中課程中，收集了一系列現(xiàn)實(shí)世界的問題，作者稱E級(jí)成績(jī)“令人失望”和“中等”。

他們得出這樣的結(jié)論:當(dāng)變壓器神經(jīng)網(wǎng)絡(luò)構(gòu)建執(zhí)行比LSTM變體,“兩個(gè)網(wǎng)絡(luò)在做多”算法推理”和“模型沒有學(xué)會(huì)做任何代數(shù)/算法操作的值,而是學(xué)習(xí)相對(duì)淺技巧來獲得好的答案的許多模塊?！?/p>

盡管如此，現(xiàn)在已經(jīng)有了一個(gè)數(shù)據(jù)集，他們希望這是一個(gè)基線，在此基礎(chǔ)上，其他人將加入他們的行列，訓(xùn)練更多種類的網(wǎng)絡(luò)。他們指出，數(shù)據(jù)集很容易擴(kuò)展，這應(yīng)該能讓研究人員直接達(dá)到大學(xué)水平的數(shù)學(xué)水平。

希望到那時(shí)，神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)會(huì)了加法。