谷歌TPU3.0的四大亮點(diǎn)

Google在I/O大會(huì)上發(fā)布了TPU3，雖然目前詳細(xì)信息不多，但下面幾點(diǎn)還是值得討論：8倍性能；快速迭代；云服務(wù)和Benchmark。TPU3到底哪里厲害？

8倍性能

今天的新聞中我們都可以看到如下描述“Google CEO Sundar Pichai said the new TPU is eight times more powerful than last year per pod, with up to 100 petaflops in performance.”也就是說(shuō)一個(gè)TPU3 pod的總處理能力100 PFLOPS是TPU2 pod的8倍。

從下圖我們可以看一下TPU3 pod和TPU2 pod的對(duì)比。

TPU2的一個(gè)pod包括4個(gè)rack，兩個(gè)CPU rack（左右兩邊），兩個(gè)TPU rack（中間兩個(gè)）。每個(gè)rack有32個(gè)computing unit (板卡），每個(gè)TPU板卡有4顆TPU芯片。因此一個(gè)pod總共有64 x 4顆TPU2芯片。每顆TPU2芯片的處理能力是45TFLOPS，因此一個(gè)pod總的處理能力是45 x 4 x 64 = 11.5 PFLOPS.

對(duì)比來(lái)看，TPU3的板卡仍然包括4顆芯片。但目測(cè)TPU3 pod的rack數(shù)量和板卡的密度（這個(gè)看的不是很清楚）和TPU2相比都增加了一倍。因此，一個(gè)pod中的TPU3芯片的數(shù)量應(yīng)該是之前4倍。如果pod的總處理能力是TPU2的8倍，那么TPU3單芯片的處理能力則為TPU2的2倍。

根據(jù)Google的說(shuō)法，這次他們第一次在Data center采用水冷的散熱方式，這可能和芯片功耗以及板卡密度增加有關(guān)系。

Google also said this is the first time the company has had to include liquidcooling in its data centers, CEO Sundar Pichai said.

總得來(lái)說(shuō)，如上圖所描述（來(lái)自Google I/O大會(huì)的talk：Effective Machine Learning with Google TPU，可以在YouTube上搜索Google io 18 stage 8觀看），TPU3實(shí)現(xiàn)的超過(guò)100 PFLOPS的處理能力是來(lái)自“新的芯片架構(gòu)和大規(guī)模系統(tǒng)”。

快速迭代

從去年I/O大會(huì)發(fā)布TPU2到今天不過(guò)一年時(shí)間，Google的芯片迭代速度還是非常驚人的?！盀槭裁碐oogle能夠?qū)崿F(xiàn)這樣的快速迭代？”這也是一個(gè)非常值得探討的話題。

我先簡(jiǎn)單談幾點(diǎn)個(gè)人看法：

第一，TPU是一個(gè)Domain-specific Architecture（參考當(dāng)我們?cè)O(shè)計(jì)一個(gè)專用處理器的時(shí)候我們?cè)诟墒裁?？（上）），定位?zhǔn)確，架構(gòu)簡(jiǎn)單，容易擴(kuò)展。相比之下，傳統(tǒng)的通用處理器必須考慮靈活性和兼容性，有太重的包袱。當(dāng)然，TPU這種特點(diǎn)也決定它只能用于有限的應(yīng)用場(chǎng)景，可能只有Google的體量以及云服務(wù)能夠所提供的應(yīng)用需求才能充分利用TPU這種專用芯片，這一點(diǎn)是得天獨(dú)厚的。這也是目前幾乎所有科技巨頭都開始自研芯片的一個(gè)基本考量。而傳統(tǒng)的芯片廠商在這一點(diǎn)上就有些尷尬了。

第二，Google的軟件和系統(tǒng)能力超強(qiáng)，TPU以Cloud service出現(xiàn)，提高給客戶的是整體服務(wù)。芯片硬件可做的tradeoff空間比較大，芯片本身的弱點(diǎn)可以在系統(tǒng)層面彌補(bǔ)。從目前得到的信息分析的，TPU3的處理能力是TPU2的8倍，其中芯片換代的貢獻(xiàn)只有2倍，大部分改進(jìn)在系統(tǒng)層面。另一方面，目前芯片開發(fā)離不開相關(guān)軟件工具，Google的軟件能力和生態(tài)也是其能夠?qū)崿F(xiàn)芯片快速迭代的一個(gè)重要因素。

第三，錢很重要。Google不差錢，在芯片實(shí)現(xiàn)上可以通過(guò)花錢換取時(shí)間。

總得來(lái)說(shuō)，Google TPU的意義可能遠(yuǎn)遠(yuǎn)超過(guò)芯片本身。它背后的芯片設(shè)計(jì)邏輯，實(shí)現(xiàn)方法，應(yīng)用模式和生態(tài)環(huán)境，相較傳統(tǒng)芯片開發(fā)有很大區(qū)別，也許會(huì)成為趨勢(shì)。

云服務(wù)和Benchmark

Google在發(fā)布TPU3的時(shí)候同時(shí)提到了新的云服務(wù)，在之前的Cloud TPU基礎(chǔ)上，今年晚些時(shí)候還會(huì)發(fā)布Cloud TPU pod（不知道誰(shuí)能用的起？），可以看出TPU對(duì)于Goolge的云端戰(zhàn)略的重要意義。

有意思的是，在Google的talk中強(qiáng)調(diào)了cost的問(wèn)題，每個(gè)例子都給出了相應(yīng)的training cost，畫風(fēng)是這樣的。

這里頗有廣告的感覺，不禁讓人想起黃教主的”The more GPUs you buy, The more money you save“。結(jié)合最近Microsoft對(duì)Brainwave項(xiàng)目的宣傳，感覺云端機(jī)器學(xué)習(xí)的價(jià)格戰(zhàn)馬上就要開始了。

另外，Google也強(qiáng)調(diào)了Benchmark的重要性，還專門展示了他們最近力推的MLPerf。

最近不同平臺(tái)之間的對(duì)比很多，有比性能的，也有拼成本的。相信隨著越來(lái)越多的廠商加入，刷榜應(yīng)該會(huì)非常熱鬧。