布局AI芯片 谷歌邊緣端TPU發(fā)神威

2018年7月Google在其云端服務(wù)年會(huì)Google Cloud Next上正式發(fā)表其邊緣(Edge)技術(shù)，與另兩家國(guó)際公有云服務(wù)大廠Amazon/AWS、Microsoft Azure相比，Google對(duì)于邊緣技術(shù)已屬較晚表態(tài)、較晚布局者，但其技術(shù)主張卻與前兩業(yè)者有所不同。

Google AI布局逐漸走向邊緣

除了同樣提倡基礎(chǔ)的物聯(lián)網(wǎng)閘道器(IoT Gateway)軟件Edge IoT Core、人工智慧/機(jī)器學(xué)習(xí)(AI/ML)軟件Edge ML外，還針對(duì)人工智慧/機(jī)器學(xué)習(xí)推出專屬的加速運(yùn)算芯片，稱為Google Edge TPU(圖1)，成為此次盛會(huì)一大焦點(diǎn)。

圖1 Google發(fā)表僅有1美分銅板面積不到的人工智慧加速運(yùn)算芯片Edge TPU。

資料來源：Google官網(wǎng)

在Google發(fā)表Edge TPU前已發(fā)表過Cloud TPU芯片，首次發(fā)表是在Google另一個(gè)更全面、更盛大的例行年會(huì)Google I/O 2016上。Cloud TPU顧名思義用于云端機(jī)房，而TPU是TensorFlow Processing Unit的縮寫，言下之意是針對(duì)TensorFlow而設(shè)計(jì)的硬件加速運(yùn)算器，TensorFlow則是Google于2015年11月提出的人工智慧框架，是目前諸多人工智慧框架中的一大主流，其他知名的框架如Caffe/Caffe 2、Apache MXnet等。

目前人工智慧框架百花齊放，其他常見的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以簡(jiǎn)單譬喻而言，人工智慧的開發(fā)撰寫如同文書撰寫，人工智慧框架就如同記事本、Word等文書處理器，功效在于協(xié)助與便利開發(fā)撰寫。

Google自行開發(fā)設(shè)計(jì)的Cloud TPU僅用于自家云端機(jī)房，且已對(duì)多種Google官方云端服務(wù)帶來加速效果，例如Google街景圖服務(wù)的文字處理、Google相簿的照片分析、乃至Google搜尋引擎服務(wù)等。Google Cloud TPU也改版快速，2016年首次發(fā)表后2017年推出第二代，2018年推出第三代芯片(圖2)。

圖2 Google連續(xù)三年在Google I/O上揭露自研的Cloud TPU新技術(shù)動(dòng)向。

資料來源：Google官網(wǎng)

不過，Google之后對(duì)Cloud TPU的技術(shù)態(tài)度似有變化。2018年2月宣布可申請(qǐng)租用TPU運(yùn)算力，如同Google Cloud Platform(GCP)的公有云服務(wù)般，依據(jù)運(yùn)算芯片的使用時(shí)間計(jì)費(fèi)，每小時(shí)6.5美元(至2018年9月已降至4.5美元) ，與GCP的CPU租用服務(wù)相比相當(dāng)昂貴，GCP的CPU租用服務(wù)，以***彰化濱海工業(yè)區(qū)的機(jī)房(不同位置的機(jī)房費(fèi)率不同)而言，標(biāo)準(zhǔn)型計(jì)價(jià)約在0.055至5.28美元間，且8種計(jì)費(fèi)費(fèi)率中有5種低于1美元/小時(shí)。

TPU租用費(fèi)亦同樣高于GPU租用，GCP的NVIDIA GPU租用費(fèi)率約在0.49至2.48美元間，視規(guī)格等級(jí)而異(Tesla K80/P100/V100)。Google Cloud TPU雖可租用，但Google是否愿意單獨(dú)銷售Cloud TPU給系統(tǒng)商，讓系統(tǒng)商制造及銷售TPU運(yùn)算系統(tǒng)，仍待進(jìn)一步觀察。

在Google推出云端用的Cloud TPU后，讓人未預(yù)料的是Google也針對(duì)邊緣提出專屬的TPU芯片，然在此前仍有些征兆，即2017年11月Google提出輕量版的TensorFlow Lite(某種程度取代此前的TensorFlow Mobile)，使電力有限的行動(dòng)裝置也能支援TensorFlow，2018年推出的Edge TPU芯片即是以執(zhí)行TensorFlow Lite為主，而非原宗的TensorFlow。

Google Edge裝置內(nèi)的作業(yè)系統(tǒng)為Linux或Android Things，而后執(zhí)行Google Edge IoT Core基礎(chǔ)功能軟件、Google Edge ML人工智慧軟件，并可選用配置Google Edge TPU。

Google Edge軟硬件架構(gòu)概觀

圖3左側(cè)為物聯(lián)網(wǎng)感測(cè)器，右側(cè)為Google云端系統(tǒng)及服務(wù)。另外Edge TPU也支援Android Neural Networks 神經(jīng)網(wǎng)路應(yīng)用程式介面(API)，簡(jiǎn)稱NNAPI(圖4)。NNAPI于在2017年12月Android 8.1釋出時(shí)一同提出，NNAPI可視為TensorFlow Lite、Caffe2等框架的基礎(chǔ)層。由此可知Edge TPU所支援呼應(yīng)并加速的軟件，于2017年便已先行到位。

圖3 Google Edge裝置軟硬件架構(gòu)圖資料來源：Google官網(wǎng)

圖4 Google Android NNAPI系統(tǒng)架構(gòu)圖，NNAPI可透過硬件抽象層與驅(qū)動(dòng)程式，運(yùn)用GPU、特定處理器或數(shù)位訊號(hào)處理器(DSP)等，使人工智慧運(yùn)算加速。資料來源：Google官網(wǎng)

與Cloud TPU不同的是，Edge TPU估將由Google銷售給系統(tǒng)商，再由系統(tǒng)商配置于前端裝置內(nèi)，包含感測(cè)器節(jié)點(diǎn)、裝置或閘道器內(nèi)，Edge TPU不是自用或租用而是銷售。

Edge TPU技術(shù)輪廓

雖然Google對(duì)Cloud TPU、Edge TPU的技術(shù)資訊揭露均不多，但仍有若干資訊可推測(cè)其背后意向與考量。

首先是Google很明白Edge定位的系統(tǒng)運(yùn)算力有限，所以Edge TPU的運(yùn)算任務(wù)僅在于執(zhí)行已訓(xùn)練完成的人工智慧模型，即推測(cè)運(yùn)算、推算工作(Inference，今日多譯成「推論」)，真正要大量耗費(fèi)運(yùn)算力的模型訓(xùn)練(Training)，依然由充沛運(yùn)算力的系統(tǒng)事先進(jìn)行，如工作站、伺服器、云端等，透過CPU/GPU/TPU進(jìn)行訓(xùn)練。

其次，Edge TPU強(qiáng)調(diào)可同時(shí)執(zhí)行處理多組每秒30張高清晰度畫質(zhì)的人工智慧判別運(yùn)算，顯示Edge TPU將用于視訊影像類的人工智慧應(yīng)用，且為即時(shí)判別(30FPS)。

更進(jìn)一步的說明，Edge TPU只負(fù)責(zé)人工智慧的加速判別、加速推算，僅為加速器、輔助處理器的角色。因此，必須與系統(tǒng)的主控芯片溝通聯(lián)系，這方面Edge TPU提供了兩種介接的方式，一是PCI Express介面，另一是USB介面。兩種介面均適合嵌入式設(shè)計(jì)，然PCI Express傳輸率較高，可避免傳輸瓶頸，而USB介面較可能定位在后裝型運(yùn)用，即前端裝置已經(jīng)存在，但仍可透過USB連接Edge TPU，帶來加速效果。

也由于須與Edge裝置整合，因此Edge TPU設(shè)計(jì)之初已盡可能減少功耗，雖然Google官方并未正式揭露，但已表態(tài)將與Google合作的***工控系統(tǒng)商也表示，其典型功耗(Thermal Design Power, TDP)僅在1.8瓦，很明顯只要現(xiàn)成芯片封裝即可散熱，幾乎可不加散熱片，更不需要馬達(dá)風(fēng)扇，便可讓Edge TPU正常運(yùn)作。

至于Edge TPU支援的運(yùn)算格式則為int8、int16，即8位元整數(shù)、16位元整數(shù)的人工智慧模型推算，但無(wú)法進(jìn)行更高位元數(shù)的整數(shù)，或者是浮點(diǎn)數(shù)的運(yùn)算，如16位元浮點(diǎn)數(shù)(FP16)。

Google一發(fā)表Edge TPU即有合作伙伴與應(yīng)用的揭露，如南韓樂金(LG)將用于產(chǎn)線制造上；另外紐西蘭、澳洲、英國(guó)的Smart Parking公司(顧名思義是與智慧停車相關(guān)的方案商)也表態(tài)采用，Smart Parking不單采用Edge TPU，其后端系統(tǒng)也大量采用GCP服務(wù)；還有Xee公司將Edge TPU用于汽車駕駛輔助上，對(duì)影像與雷達(dá)資料進(jìn)行研判，而后給予駕駛潛在危險(xiǎn)警告，如路況變差、輪胎過度磨損等。目前所知Google將Edge TPU訴求于三個(gè)目標(biāo)，即制造、零售、汽車。

Movidius與Edge TPU的瑜亮情結(jié)

在Google尚未推出Edge TPU芯片前，其實(shí)Google已有使用前端的人工智慧加速芯片，2011年Google購(gòu)并Motorola Mobility，而后于2014年將Motorola Mobility售給Lenovo，但Google仍保留下2個(gè)原屬于Motorola Mobility的研究專案，而未移轉(zhuǎn)給Lenovo，一是模組化手機(jī)專案Ara，另一是擴(kuò)增實(shí)境技術(shù)專案Tango(此專案于2018年3月結(jié)束，改由ARCore技術(shù)接手)。

Google在2014年對(duì)外揭露Tango研究，此專案所發(fā)展的平板、手機(jī)等行動(dòng)裝置，即配置了Movidius公司的VPU芯片，VPU即Vision Processing Unit之意，更具體而言是視訊類型的人工智慧運(yùn)算、推算加速芯片。

Movidius自身發(fā)展第一代VPU，而后在與Google合作Tango計(jì)畫時(shí)則為第二代VPU，稱為Myriad 2(芯片編號(hào)MA2150/MA2450，差別在于MA2150最高連接1Gbit記憶體，MA2450可至4Gbit)。不僅Google采用，包含多軸無(wú)人機(jī)大廠大疆亦用于無(wú)人機(jī)上。之后2016年英特爾(Intel)購(gòu)并Movidius，接手后發(fā)展出第三代VPU，稱為Myriad X(芯片編號(hào)MA2085/MA2485，MA2085封裝內(nèi)無(wú)記憶體，MA2485內(nèi)含4Gbit記憶體)。

Movidius在被英特爾收購(gòu)后，Google依然鐘愛Movidius技術(shù)。2017年底Google推出AIY Vision Kit的開發(fā)套件，該套件內(nèi)仍可見MA2450芯片的蹤影。AIY Vision Kit是Google用來推行其影像人工智慧技術(shù)的評(píng)估套件，以樹莓派電腦(Raspberry Pi, RPi)為基礎(chǔ)提供擴(kuò)充延伸的硬件配件，即可摸索與評(píng)估Google的影像人工智慧技術(shù)。

而所謂的AIY是Google自創(chuàng)的復(fù)合字，是以人工智慧(AI)與DIY(Do-It-Yourself自己動(dòng)手做)二字疊合而成。事實(shí)上Google在推出Vision Kit的同時(shí)也有推出Voice Kit，可供摸索評(píng)估Google的語(yǔ)音人工智慧技術(shù)，但語(yǔ)音的人工智慧運(yùn)算其運(yùn)算負(fù)荷并不吃重，不需要專屬加速芯片。

從2014年的Tango到2017年底的AIY Vision Kit，Google均以第二代Movidius芯片為主，因此理論上順其發(fā)展，Google即便在Edge環(huán)節(jié)有其技術(shù)主張，認(rèn)為可配置人工智慧硬件加速芯片，應(yīng)也會(huì)屬意Movidius，而非自行研發(fā)Edge TPU。

不過，最終Google提出了Edge TPU，因此不得不推測(cè)，英特爾購(gòu)并Movidius后，Google可能認(rèn)為后續(xù)新發(fā)展并不完全合乎期待，過往Movidius為小型獨(dú)立企業(yè)時(shí)，可能提供Google高度支援，然英特爾可能對(duì)Movidius技術(shù)資產(chǎn)的后續(xù)延伸與新走向有不同的想法。

對(duì)此可若干比較第三代Movidius Myriad X與Edge TPU，前者支援FP16的16位元浮點(diǎn)數(shù)推測(cè)運(yùn)算及8位元整數(shù)推算，而Edge TPU如前述僅支援8位元整數(shù)及16位元整數(shù)推算；Movidius Myriad系列仍可能顧及潛在市場(chǎng)機(jī)會(huì)最大化，雖未廣泛支援多種AI框架，但至少支援兩種現(xiàn)階段主流框架，即TensorFlow與Caffe。

圖5 Google在Tango專案與AIY Vision套件上均使用Movidius MA2450芯片。資料來源：Google官網(wǎng)

由此而論，Google可能對(duì)TensorFlow Lite寄予厚望，因而有專屬設(shè)計(jì)的加速芯片Edge TPU，Edge TPU可能一直維持比Movidius Myriad系列更低規(guī)(無(wú)浮點(diǎn)數(shù))、更專精(只支援TensorFlow Lite )的技術(shù)發(fā)展定位，更高階的需求仍會(huì)選用Movidius Myriad系列，兩者高低并用并行。

或者Google未來只屬意自家Edge TPU，只在云端外推行Edge TPU，并一直維持低階定位，不往更高階發(fā)展，或Edge TPU僅是首發(fā)，未來將持續(xù)發(fā)展更高階的Edge TPU，如此將與英特爾Movidius競(jìng)爭(zhēng)，甚在效能規(guī)格大幅強(qiáng)化后而與NVIDIA Xavier競(jìng)爭(zhēng)。

認(rèn)為Edge TPU將與Movidius競(jìng)爭(zhēng)的另一支持，在于Edge TPU也將推出USB隨身碟型態(tài)的開發(fā)/運(yùn)用套件，并同樣使用AIY之名推展。早于Movidius未被英特爾收購(gòu)前，Movidius即有提供USB隨身碟型態(tài)的人工智慧評(píng)估/運(yùn)用套件(圖6)，英特爾收購(gòu)Movidius套件產(chǎn)品仍持續(xù)，套件稱為NCS(Neural Compute Stick)。

圖6英特爾、Google均以PCI Express介面開發(fā)板與USB介面隨身碟型加速器，來推行其人工智慧加速芯片。資料來源：英特爾、Google

另一需考量的是，雖然Google在技術(shù)布局上已逐漸同時(shí)注重軟硬件的均衡與呼應(yīng)，自身對(duì)于硬件發(fā)展的主導(dǎo)與涉入也日深，但就過往經(jīng)驗(yàn)而言Google的硬件技術(shù)策略仍經(jīng)常搖擺，甚在短期內(nèi)放棄，因此Edge TPU仍可能不是長(zhǎng)期技術(shù)策略中的一環(huán)，而是一個(gè)技術(shù)嘗試，特別是Cloud TPU、Edge TPU均為加速作用的輔助處理器，為選擇性使用，必要時(shí)仍可由其他芯片實(shí)現(xiàn)相同運(yùn)算效果，或在英特爾、NVIDIA等芯片商給予更多技術(shù)發(fā)展承諾后，仍可能停止自有芯片發(fā)展路線。

其他產(chǎn)業(yè)推測(cè)也包含，Google Edge TPU的技術(shù)授權(quán)來自于Movidius，有可能初始使用Movidius技術(shù)與架構(gòu)之后獨(dú)立發(fā)展，也可能持續(xù)向英特爾Movidius取得授權(quán)，而始終與英特爾Movidius主力銷售芯片保持區(qū)隔與技術(shù)落差時(shí)間。

Edge TPU后續(xù)策略、動(dòng)向推測(cè)

展望未來，Edge TPU由于將提供給系統(tǒng)商，估計(jì)日后揭露的技術(shù)資訊將較Cloud TPU為多，Cloud TPU由于目前只在Google機(jī)房端配置，至多提供遠(yuǎn)端租用，因此可以不揭露更多技術(shù)資訊，事實(shí)上Google對(duì)于第三代Cloud TPU所揭露的資訊，已明顯少于前二代。

倘若Edge TPU推展順?biāo)欤С值南到y(tǒng)伙伴日增，則可激勵(lì)Google更快速發(fā)展新版Edge TPU。若推展不如預(yù)期，則Google也可能自行推出官方版的Edge閘道器、Edge裝置，作為產(chǎn)業(yè)示范，或自始至終不投入官方版示范，直接停止Edge TPU后續(xù)發(fā)展。