谷歌I/O大會(huì)上說的TPU是啥？谷歌是這樣解釋的 - 全文

　　還記得前段時(shí)間沸沸揚(yáng)揚(yáng)的Google人工智能Alpha Go在南韓圍贏了圍棋九段高手李世乭的事嗎？Alpha GO致勝的關(guān)鍵，就在于結(jié)合機(jī)器學(xué)習(xí)與深層類神經(jīng)網(wǎng)路，模擬圍棋高手如何分析盤面、找出最有利的下法，步步為營(yíng)。Google CEO桑德爾·皮查在美國(guó)時(shí)間18日上午的Google I/O 大會(huì)上進(jìn)一步揭露了這當(dāng)中的秘密。

　　皮查指出，Google專門為深層類神經(jīng)網(wǎng)路設(shè)計(jì)了特殊應(yīng)用IC，以ASIC為基礎(chǔ)的硬體或軟體，將能透過分析大量的數(shù)據(jù)學(xué)習(xí)特殊任務(wù)，Google借由神經(jīng)網(wǎng)路得以辨識(shí)物件、照片中的人臉、了解傳到Android手機(jī)上的說話指令，以及翻譯技術(shù)，甚至因此改變了Google搜尋引擎。也是這項(xiàng)技術(shù)提升了Alpha GO的計(jì)算速度，并使其思慮看得更深遠(yuǎn)。

　　Google將運(yùn)用此技術(shù)打造的機(jī)器學(xué)習(xí)專用晶片稱之為TPU（Tensor Processing Unit），Google在其自家部落格文章稱，由于TPU專為機(jī)器學(xué)習(xí)所運(yùn)行，得以較傳統(tǒng)CPU、 GPU降低精度，在計(jì)算所需的電晶體數(shù)量上，自然可以減少，也因此，可從電晶體中擠出更多效能，每秒執(zhí)行更復(fù)雜、強(qiáng)大的機(jī)器學(xué)習(xí)模組，并加速模組的運(yùn)用，使得使用者更快得到答案，Google指出，團(tuán)隊(duì)已經(jīng)在數(shù)據(jù)中心執(zhí)行TPU超過一年，且發(fā)現(xiàn)TPU能讓機(jī)器學(xué)習(xí)每瓦提高一個(gè)數(shù)量級(jí)，粗略來說，相當(dāng)于摩爾定律中晶片效能往前推進(jìn)了七年或者三代。

　　上周四，媒體曾經(jīng)向谷歌咨詢定制AI芯片TPU的事，谷歌拒絕置評(píng)，只是說馬上就會(huì)有更多的消息公布。然而一天之后，谷歌改變了態(tài)度，對(duì)一些問題給予了回復(fù)，問題是新聞發(fā)言人通過郵件形式回應(yīng)的。

　　下面我們就來看看谷歌是如何解釋TPU的：

　　1、TPU預(yù)先訓(xùn)練過嗎？

　　這是一個(gè)大問題，谷歌無法回答。它可能是預(yù)先訓(xùn)練過的，但是我們并不能確切地知道。TPU是否經(jīng)過訓(xùn)練，要看它執(zhí)行的AI算法是否在獨(dú)立系統(tǒng)中訓(xùn)練過。要訓(xùn)練AI系統(tǒng)識(shí)別一張圖片，你必須向它展示幾百萬張圖片，經(jīng)過反復(fù)嘗試才能學(xué)會(huì)。一旦學(xué)習(xí)完成，你只需要讓算法在芯片上運(yùn)行就可以了。例如，IBM的TrueNorth和Fathom芯片（來自創(chuàng)業(yè)公司Movidius）就是經(jīng)過訓(xùn)練的。TPU有很大的可能訓(xùn)練過，但是谷歌不會(huì)這樣說。

　　2、如果AI算法改變，TPU可以重新編程嗎？

　　這個(gè)問題包括兩個(gè)子問題，有必要解釋一下。按照芯片的分類，TPU可以被認(rèn)為是ASIC（特殊應(yīng)用集成電路），簡(jiǎn)單來講就是在設(shè)計(jì)芯片時(shí)只考慮在一件事情上擁有極高的效率。

　　在預(yù)想中我們的問題應(yīng)該是這樣的：如果AI算法改變了（從邏輯上講隨著時(shí)間的推移算法應(yīng)該會(huì)改變），你是不是想要一款可以重新編程的芯片，以適應(yīng)這些改變？如果情況是這樣的，另一種芯片適合，它就是FPGA（現(xiàn)場(chǎng)可編程門陣列）。FPGA可以編程，和ASIC不同。微軟用一些FPGA芯片來增強(qiáng)必應(yīng)搜索引擎的AI功能。我們很自然會(huì)問：為什么不使用FPGA呢？

　　谷歌的回答是：FPGA的計(jì)算效率比ASIC低得多，因?yàn)樗梢跃幊?。TPU擁有一個(gè)指令集，當(dāng)TensorFlow程序改變時(shí)，或者新的算法出現(xiàn)時(shí)，它們可以在TPU上運(yùn)行。

　　現(xiàn)在問題的答案開始浮現(xiàn)。在谷歌看來，能耗是一個(gè)重要的考量標(biāo)準(zhǔn)，數(shù)據(jù)中心相當(dāng)巨大，建設(shè)在世界各地，包括芬蘭和***。能耗越高，運(yùn)營(yíng)的成本就越高，隨著時(shí)間的推移實(shí)際消耗的金錢會(huì)成倍增長(zhǎng)。谷歌工程師對(duì)比了FPGA和ASIC的效率，最終決定選擇ASIC。

　　問題的第二部分與TPU的指令集有關(guān)。這是一套基本的命令，它以硬編碼形式存在于芯片中，能夠識(shí)別、執(zhí)行；在芯片世界，指令集是計(jì)算機(jī)運(yùn)行的基礎(chǔ)。

　　在開發(fā)TPU指令集時(shí)，它是專門用來運(yùn)行TensorFlow的，TensorFlow是一個(gè)開源軟件庫(kù)，針對(duì)的是AI應(yīng)用的開發(fā)。谷歌認(rèn)為，如果AI有必要在底層進(jìn)行改變，極可能發(fā)生在軟件上，芯片應(yīng)該具備彈性，以適應(yīng)這種改變。

　　TPU架構(gòu)的技術(shù)細(xì)節(jié)讓許多了解芯片的人驚奇。Anandtech的Joshua Ho有一個(gè)有趣的理論：TPU更加類似于第三類芯片，也就是所謂的數(shù)字信號(hào)處理器（Digital Signal Processor）。

　　3、TPU是不是只能運(yùn)行TensorFlow？

　　AI應(yīng)用的軟件語言大約有5種，TPU能否支持這些語言？谷歌的回答是：其它代碼可以在TPU上運(yùn)行，但是TPU已經(jīng)針對(duì)TensorFlow做過優(yōu)化。

　　4、幾塊TPU能不能彼此連接，組成一個(gè)系統(tǒng)協(xié)同運(yùn)行？

　　谷歌的回答是：AlphaGo圍棋AI已經(jīng)安裝了多個(gè)TPU，它們完全可以以龐大系統(tǒng)的組成部分來運(yùn)行。

　　這是一個(gè)超級(jí)有趣的答案，我們的腦海情不自禁浮現(xiàn)出“SkyNet”式的遠(yuǎn)景：許多的AI芯片在所有事情上擁有完全超越人類的思維。

　　5、在服務(wù)器機(jī)架中，為什么TPU要插入到硬盤倉(cāng)位中？

　　谷歌曾經(jīng)說過，TPU會(huì)插入到服務(wù)器機(jī)架上，機(jī)架靠近硬盤，看起來有點(diǎn)奇怪。為什么沒有將TPU放在靠近服務(wù)器CPU的地方，這樣所有計(jì)算就可以在一個(gè)地方進(jìn)行？

　　谷歌的回答是這樣的：TPU擁有一個(gè)PCIe連接器。PCIe到底是連接在主板PCIe插槽中，還是連接到短的線纜中，根本沒有區(qū)別。谷歌服務(wù)器的硬盤架上有空間，安裝在那里比較方便。

　　6、內(nèi)存在哪里？

　　谷歌的回答是：在散熱器下面。

　　和我們想的一樣。如果你回看第一個(gè)問題——也就是芯片預(yù)訓(xùn)練的問題，就會(huì)知道訓(xùn)練芯片需要大量的內(nèi)存。谷歌要用海量的圖片來訓(xùn)練AI，看起來散熱器下面沒有足夠的空間安裝大量?jī)?nèi)存。芯片上的內(nèi)存看起來也不多，因此，TPU實(shí)際已經(jīng)訓(xùn)練過的可能性進(jìn)一步提高。

　　7、芯片在哪里制造的？

　　谷歌沒有回答這個(gè)問題。除非谷歌在某處建有秘密工廠，否則只有請(qǐng)別人來生產(chǎn)TPU。世界上有兩家最大的芯片制造商技術(shù)最先進(jìn)：臺(tái)積電，GlobalFoundries。讓我們繼續(xù)猜測(cè)吧。