欲把AI計(jì)算成本打下來，谷歌高效益TPU正式開放

電子發(fā)燒友網(wǎng)報道（文/周凱揚(yáng)）對于每個想要自己開發(fā)和部署AI模型的應(yīng)用開發(fā)者來說，硬件和服務(wù)器支出都是一筆不小的費(fèi)用。就以英偉達(dá)的GPU為例，即便是消費(fèi)級的GPU，最近也迎來了一波漲價潮，更不用爆火的A100/H100等型號了。

即便是租賃服務(wù)器，基于這些熱門硬件的服務(wù)器也遠(yuǎn)算不上便宜，因此不少云服務(wù)廠商為了進(jìn)一步拉攏更多AI應(yīng)用開發(fā)者，紛紛推出了性價比更高的選項(xiàng)。這些選項(xiàng)有的是基于CPU的AI計(jì)算服務(wù)器，有的是基于第三方AI加速器打造的服務(wù)器，還有的則是由云服務(wù)廠商基于自研加速器打造且獨(dú)家提供的服務(wù)器。

谷歌高性價比TPU面世

谷歌在今年8月底發(fā)布了第五代的自研TPU，TPU v5e。谷歌稱該加速器實(shí)現(xiàn)了性能與成本效益的平衡。相比上一代TPU v4，TPU V5e提供了同成本下兩倍的訓(xùn)練性能，以及針對LLM和生成式AI模型2.5倍的推理性能。

TPU v5e架構(gòu)

單個TPU v5e Pod由256個芯片互聯(lián)，總帶寬超過400Tb/s，INT8總算力達(dá)100petaOps。而且谷歌為TPU v5e采用了更靈活的配置選項(xiàng)，其支持8個不同的虛擬機(jī)配置，單個切片支持單芯片到250多個芯片，如此一來客戶就可以根據(jù)自己的模型大小來選擇合適的配置。

而且過去借助谷歌TPU進(jìn)行的訓(xùn)練負(fù)載只局限于單個切片中，谷歌為此開發(fā)了Multislice技術(shù)，可通過芯片間互聯(lián)以及數(shù)據(jù)中心網(wǎng)絡(luò)中的多個TPU Pod相連，從而將訓(xùn)練工作擴(kuò)展到數(shù)萬個芯片上。

為了進(jìn)一步擴(kuò)大對開發(fā)生態(tài)的支持，TPU v5e還內(nèi)置了對JAX、Pytorch和Tensorflow等領(lǐng)先AI框架，以及 Hugging Face 的 Transformers 和 Accelerate、PyTorch Lightning 和 Ray等一系列常用開源工具的支持。

開放使用與自用

近日，谷歌終于宣布TPU v5e進(jìn)入公用階段，且在最新的MLPerf訓(xùn)練3.1測試中，TPUv5e獲得了更好的表現(xiàn)。在該測試中，谷歌改進(jìn)了創(chuàng)新的混合精度訓(xùn)練算法，除了原生支持的BF16外，還用到了INT8精度格式。這意味著客戶在提高了模型準(zhǔn)確性的同時，將花費(fèi)更少的成本。


從谷歌云對于TPU v5e的定價表來看，v5e在成本效益上確實(shí)有著極大的優(yōu)勢。不過需要注意的是，v5e與v2、v3 Pod類似，每個芯片中只有一個TensorCore，而v4 Pod的每個芯片中有兩個TensorCore。這也是為何v5e的單芯片峰值算力為197TFLOPS，而v4的單芯片峰值算力為275TFLOPS，可即便如此，在按芯片小時的定價下，其所需成本依然低于v4。

在如此高的性價比下，谷歌不僅將TPU提供給外部開發(fā)者使用，其內(nèi)部一些開發(fā)項(xiàng)目也開始用上TPU v5e。比如其PaLM模型的創(chuàng)建，就用到了上文提到的Multislice技術(shù)，谷歌的Bard團(tuán)隊(duì)同樣在用TPU v5e訓(xùn)練這一生成式AI聊天機(jī)器人。

寫在最后

其實(shí)在TPUv5e開放使用之前，谷歌也正式開放了A3 VM這類GPU加速虛擬機(jī)的使用。這也是多數(shù)云服務(wù)廠商采用的多方案供應(yīng)策略，其自研加速器只需要為客戶提供一個高性價比的方案，而追求更高性能的客戶，依然可以選擇基于H100 GPU打造的服務(wù)器。