人工智能被批不環(huán)保

人工智能被批不環(huán)保，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)的排炭量竟比5輛車(chē)還多？

1970年，贊比亞修女Mary Jucunda給NASA（美國(guó)航空航天局）Marshall太空航行中心的科學(xué)副總監(jiān)Ernst Stuhlinger博士寫(xiě)了一封信。信中，Mary Jucunda修女問(wèn)道：目前地球上還有這么多小孩子吃不上飯，他怎么能舍得為遠(yuǎn)在火星的項(xiàng)目花費(fèi)數(shù)十億美元。

Stuhlinger很快給Jucunda修女回了信，他這封真摯的回信隨后由NASA以《為什么要探索宇宙》為標(biāo)題發(fā)表。

這封信中有這樣一句話：“通往火星的航行并不能直接提供食物解決饑荒問(wèn)題。然而，它所帶來(lái)大量的新技術(shù)和新方法可以用在火星項(xiàng)目之外，這將產(chǎn)生數(shù)倍于原始花費(fèi)的收益?！?/p>

如今，隨著許多航天技術(shù)遷徙到其他方面并對(duì)人類生活產(chǎn)生了巨大的影響，很少有人再去質(zhì)疑航空航天是否有必要。

同樣，作為目前最前沿的計(jì)研究領(lǐng)域之一，人工智能近日也受到了環(huán)保方面的質(zhì)疑。

人工智能背后的碳排放引發(fā)關(guān)注

根據(jù)一份提交到自然語(yǔ)言處理頂會(huì)ACL 2019的論文，三位來(lái)自馬薩諸塞大學(xué)安姆斯特分校的研究人員對(duì)幾種常見(jiàn)的NLP模型進(jìn)行碳排放評(píng)估。

他們發(fā)現(xiàn)，像Transformer、GPT-2等流行的深度神經(jīng)網(wǎng)絡(luò)，他們的訓(xùn)練過(guò)程可以排放超過(guò)62.6萬(wàn)磅的二氧化碳當(dāng)量，幾乎是美國(guó)汽車(chē)平均壽命期內(nèi)排放量(包括制造過(guò)程)的五倍。

比如Google AI今年發(fā)布的一篇新論文The Evolved Transformer提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)，用于英語(yǔ)到德語(yǔ)翻譯的BLEU分?jǐn)?shù)提高了0.1，卻花費(fèi)了3.2萬(wàn)TPU小時(shí)。

盡管這篇論文并沒(méi)有提供準(zhǔn)確的基于TPU的模型訓(xùn)練能耗和碳排放的數(shù)據(jù)，但是根據(jù)美國(guó)環(huán)保署(EPA)統(tǒng)計(jì)，數(shù)據(jù)中心耗電占全球3%，且耗電量正在以每四年翻一番的速度增長(zhǎng)；同時(shí)，數(shù)據(jù)中心的溫室氣體排放占到全球的2%，碳足跡已經(jīng)追上民航業(yè)。

盡管目前數(shù)據(jù)中心大多還是在進(jìn)行處理客戶信息等傳統(tǒng)工作，但是基于深度學(xué)習(xí)的人工智能正成為全球數(shù)據(jù)中心業(yè)務(wù)增長(zhǎng)的最大驅(qū)動(dòng)力。

來(lái)自網(wǎng)友的討論

這篇論文一進(jìn)入大眾視野，便引起了廣泛討論，業(yè)內(nèi)人人士更多是持一種辯證的態(tài)度，表示雖然用于訓(xùn)練所產(chǎn)生的碳排放是客觀存在的，但是并沒(méi)有文章中所說(shuō)的那么夸張。

Reddit有網(wǎng)友評(píng)論：

在8個(gè)GPU上訓(xùn)練12小時(shí)6500萬(wàn)參數(shù)的一般網(wǎng)絡(luò)總計(jì)消耗27千瓦時(shí)，并且排出26磅二氧化碳，計(jì)算成本為41-140美元。這是論文中耗能最小的例子，但其實(shí)與大多數(shù)人做的訓(xùn)練相比，它也算是規(guī)模比較大了。

而更大的BERT model，在64個(gè)GPU上訓(xùn)練110萬(wàn)個(gè)參數(shù)，耗時(shí)80小時(shí)，消耗了1507千瓦時(shí)的能量，排放了1438磅二氧化碳，計(jì)算成本為3751-12571美元。但這是一個(gè)相當(dāng)大的ML項(xiàng)目，比大多數(shù)人運(yùn)行過(guò)的規(guī)模都更大，很少有個(gè)人或者組織能夠做這種項(xiàng)目。

論文中比較有意義的是神經(jīng)結(jié)構(gòu)搜索（NAS）消耗的能量和排放的二氧化碳。這是有道理的，因?yàn)樗阉鬟^(guò)程可能意味著運(yùn)行幾個(gè)大數(shù)量級(jí)的訓(xùn)練步驟。

而值得指出的是，該論文所闡述的一個(gè)例子：把TPU換成八塊P100GPU，用同樣的方式訓(xùn)練同一個(gè)Transformer達(dá)到同樣的成績(jī)，將會(huì)產(chǎn)生驚人的62.6萬(wàn)磅（約合284公噸）二氧化碳。這個(gè)結(jié)果雖然很震撼，但實(shí)際沒(méi)有人會(huì)這樣去做。

而Slashdot上則有網(wǎng)友用新能源汽車(chē)舉例：

設(shè)計(jì)節(jié)能汽車(chē)也需要消耗大量能源。但是，從長(zhǎng)遠(yuǎn)來(lái)看是有好處的。如果這些受過(guò)訓(xùn)練的人工智能能夠通過(guò)它們所做的工作節(jié)省能量，那么從長(zhǎng)遠(yuǎn)來(lái)看，這也將是有益的。

人工智能與環(huán)境保護(hù)站在對(duì)立面嗎？

首先，人工智能并非是不落地的“實(shí)驗(yàn)室產(chǎn)物”。

提到人工智能，大眾往往第一反應(yīng)的都是資本市場(chǎng)所宣傳的產(chǎn)品，這些產(chǎn)品往往由于宣傳的需要被加入了許多噱頭而不具備普遍的說(shuō)服力，所以人工智能在應(yīng)用上總給人一種很玄的感覺(jué)。

Petuum創(chuàng)始人兼CEO邢波也說(shuō)，人工智能太高深了，為人所知的有自動(dòng)駕駛、醫(yī)療等應(yīng)用場(chǎng)景，其實(shí)最普通的土木工程領(lǐng)域，也需要人工智能技術(shù)的變革，但是這些小的應(yīng)用場(chǎng)景很少有人關(guān)注。

新技術(shù)的落地往往會(huì)從大眾不經(jīng)意的地方開(kāi)始。在以種植玉米和大豆出名的美國(guó)愛(ài)荷華州，初創(chuàng)AI公司Smart Ag公司正在開(kāi)發(fā)無(wú)人駕駛拖拉機(jī)用來(lái)干農(nóng)活，以解決農(nóng)場(chǎng)勞動(dòng)力短缺的問(wèn)題。

圖片來(lái)自英偉達(dá)中國(guó)

同樣的，人工智能和機(jī)器學(xué)習(xí)已經(jīng)開(kāi)始在大數(shù)據(jù)醫(yī)療領(lǐng)域蓬勃發(fā)展，例如放射學(xué)、醫(yī)學(xué)成像和醫(yī)療保健記錄等。

在能源利用領(lǐng)域呢？人工智能也不是永遠(yuǎn)都是耗電的那一方。

谷歌就曾給DeepMind“找了個(gè)活”，讓它通過(guò)操控計(jì)算機(jī)服務(wù)器和相關(guān)設(shè)備（例如冷卻系統(tǒng)）來(lái)管理部分?jǐn)?shù)據(jù)中心，從而減少了數(shù)個(gè)百分點(diǎn)的能耗，可不要小看這幾個(gè)百分點(diǎn)，要知道谷歌一年的耗電量，幾乎能趕上一個(gè)舊金山了。

其次這篇論文也并非是反對(duì)消耗資源來(lái)開(kāi)發(fā)人工智能的。

作者的意圖只是希望提醒其他NLP學(xué)者和業(yè)界人士，在提高模型表現(xiàn)的同時(shí)，也應(yīng)該對(duì)環(huán)境影響有主動(dòng)的、足夠的關(guān)注。

論文的第一作者，馬薩諸塞大學(xué)安姆斯特分校博士生艾瑪斯特貝爾(Emma Strubell)在接受硅星人的獨(dú)家采訪時(shí)表示：“不計(jì)任何計(jì)算量的代價(jià)也要追逐哪怕一丁點(diǎn)的準(zhǔn)確率提升。這絕對(duì)不是一個(gè)好的趨勢(shì)，我覺(jué)得我們應(yīng)該做得更好，用更有創(chuàng)意，而不是純粹‘加算力’的方式去做研究?！?/p>

如何做環(huán)境友好的人工智能研究，更多的使用清潔能源或是出路。從下面的表中我們可以看出，Google的數(shù)據(jù)中心用電56%來(lái)自可再生能源。

谷歌主要是通過(guò)采購(gòu)大量可再生能源項(xiàng)目來(lái)應(yīng)對(duì)能源消耗，目前已經(jīng)包括肯尼亞的一個(gè)風(fēng)力發(fā)電廠和在加州、德州等地的數(shù)個(gè)風(fēng)力發(fā)電廠。

同樣，亞馬遜已經(jīng)在美國(guó)的印第安納、北卡羅萊納、俄亥俄和弗吉尼亞州建設(shè)了風(fēng)力和太陽(yáng)能發(fā)電廠。

而國(guó)內(nèi)的互聯(lián)網(wǎng)巨頭也有類似的做法，阿里巴巴張北云計(jì)算基地內(nèi)數(shù)據(jù)中心將百分百基于綠色能源運(yùn)轉(zhuǎn)，建筑外表覆蓋太陽(yáng)能電板，同時(shí)采用自然風(fēng)冷和自然水冷系統(tǒng)，預(yù)計(jì)僅數(shù)據(jù)中心的制冷能耗就可以降低45%。阿里巴巴技術(shù)保障負(fù)責(zé)人周明就表示：“我們將采用全球最先進(jìn)的綠色數(shù)據(jù)中心設(shè)計(jì)方案，將張北源源不斷的綠色能源轉(zhuǎn)化成計(jì)算資源?！?/p>