最新終端機(jī)器學(xué)習(xí)研究的最新進(jìn)展

演講內(nèi)容主要包括介紹回顧最新終端機(jī)器學(xué)習(xí)研究的最新進(jìn)展，介紹Google發(fā)布終端設(shè)備視覺(jué)開(kāi)發(fā)工具，包括TFLite視覺(jué)任務(wù)API、開(kāi)源MediaPipe系統(tǒng)、ML Kit開(kāi)發(fā)包等，以及實(shí)戰(zhàn)開(kāi)發(fā)經(jīng)驗(yàn)。同時(shí)還包括高效終端機(jī)器設(shè)備視覺(jué)技術(shù)未來(lái)發(fā)展方向，例如硬件加速下的深度學(xué)習(xí)以及端上多任務(wù)學(xué)習(xí)等等。

大家好，我是來(lái)自Google Research的高級(jí)軟件工程師汪啟扉，首先感謝LiveVideoStack邀請(qǐng)我在此處演講。今天，我的主題是高效終端設(shè)備機(jī)器學(xué)習(xí)的最新進(jìn)展 。

本次演講將包括五個(gè)主要部分。首先，我將簡(jiǎn)要介紹端上機(jī)器學(xué)習(xí)。其次我將討論如何建立適合移動(dòng)端的機(jī)器學(xué)習(xí)模型，在第三和第四部分 ，我將分別介紹適用于移動(dòng)應(yīng)用的端上機(jī)器學(xué)習(xí)優(yōu)化，以及基于隱私保護(hù)的端上機(jī)器學(xué)習(xí)的最新研究。最后，我將討論端上機(jī)器智能的未來(lái)工作的展望。

1 端上機(jī)器學(xué)習(xí)

1.1 什么是端上機(jī)器學(xué)習(xí)

得益于深度學(xué)習(xí)的巨大成功，我們周圍的設(shè)備、機(jī)器、事物都變得越來(lái)越智能。智能手機(jī)、家庭助理、可穿戴設(shè)備等設(shè)備、自動(dòng)駕駛汽車、無(wú)人機(jī)之類的機(jī)器，以及諸如電燈開(kāi)關(guān)、家用傳感器之類的機(jī)器，正在利用機(jī)器智能來(lái)支持自動(dòng)翻譯、自動(dòng)駕駛、智能家居等應(yīng)用。比如智能手機(jī)、家庭助理、可穿戴設(shè)備等；機(jī)器方面有自動(dòng)駕駛汽車、無(wú)人機(jī)，生活中的器件包括電燈開(kāi)關(guān)、家用傳感器之類的機(jī)器 。這些機(jī)器都正在利用自動(dòng)翻譯、自動(dòng)駕駛、智能家居等功能。用戶可以隨心所以地使用機(jī)器智能并享受其中。

早年，由于移動(dòng)端上的計(jì)算資源非常有限，大多數(shù)機(jī)器智能都利用云計(jì)算實(shí)現(xiàn)。在基于云的機(jī)器智能中，源數(shù)據(jù)會(huì)發(fā)送到云端進(jìn)行智能推理，然后將結(jié)果下載到本地設(shè)備。此類基于云和客戶端的系統(tǒng)可能會(huì)遭受延遲、隱私和可靠性方面的困擾。不過(guò)最近，我們注意到將智能推理從云端遷移到邊緣端以改善這些問(wèn)題的趨勢(shì)。

1.2為什么我們需要端上機(jī)器學(xué)習(xí)

在基于云的機(jī)器智能應(yīng)用中，用戶和設(shè)備間的長(zhǎng)交互延遲通常是由不穩(wěn)定的網(wǎng)絡(luò)帶寬引起的。通過(guò)將機(jī)器智能轉(zhuǎn)移到客戶端可以提供穩(wěn)定的低交互延遲。

機(jī)器智能需要訪問(wèn)私有用戶數(shù)據(jù)，例如用戶圖片、文檔、電子郵件、語(yǔ)音等。機(jī)器將所有數(shù)據(jù)上傳到云中可能會(huì)引起隱私和安全問(wèn)題。由于端上機(jī)器只能在本地設(shè)備上處理所有數(shù)據(jù)，因此可以保護(hù)用戶私有數(shù)據(jù)免受惡意軟件攻擊。

最后，即使在網(wǎng)絡(luò)不可用或云服務(wù)關(guān)閉的情況下，將智能計(jì)算移到端上可以保持智能服務(wù)始終可用。

因此，端上機(jī)器智能已成為智能和移動(dòng)領(lǐng)域重點(diǎn)研究方向。通過(guò)隱私保護(hù)的云端計(jì)算可以很好地平衡延遲、可靠性、隱私和性能等問(wèn)題。

1.3端上推理

基本上，因此，端上智能是通過(guò)使用來(lái)自設(shè)備傳感器（例如攝像頭、麥克風(fēng)、和所有其他傳感器）的輸入信號(hào)在設(shè)備上運(yùn)行深度學(xué)習(xí)推理來(lái)實(shí)現(xiàn)。該模型完全在設(shè)備上運(yùn)行而無(wú)需與服務(wù)器通信。

1.4 挑戰(zhàn)

有限的計(jì)算資源

雖然應(yīng)用終端設(shè)備機(jī)器學(xué)習(xí)顯示出巨大優(yōu)勢(shì)，但仍然面臨許多挑戰(zhàn)。首要的挑戰(zhàn)是有限的計(jì)算資源，在過(guò)去的幾十年中，我們注意到了移動(dòng)芯片組的計(jì)算能力遵循摩爾定律而不斷提高。但是，與具有分布式計(jì)算系統(tǒng)的云集群相比，單臺(tái)設(shè)備的計(jì)算資源仍然非常有限，無(wú)法滿足新興應(yīng)用程序不斷增長(zhǎng)的計(jì)算需求。

有限的功率

如今，用戶對(duì)設(shè)備的使用比以往任何時(shí)候都多，每款新手機(jī)都在不斷提升電池容量并且支持快速充電功能。但是，設(shè)備的有限功率仍然是長(zhǎng)續(xù)航時(shí)間的主要挑戰(zhàn)。

設(shè)備過(guò)熱

此外，高功耗通常導(dǎo)致設(shè)備過(guò)熱，尤其是對(duì)于可穿戴設(shè)備，這會(huì)影響用戶體驗(yàn)并引起安全隱患。

從實(shí)驗(yàn)數(shù)據(jù)中可以看出，機(jī)器學(xué)習(xí)使用的浮點(diǎn)計(jì)算會(huì)比整數(shù)計(jì)算需要更高的功耗。為了快速學(xué)習(xí)并降低功耗和內(nèi)存的使用，我們必須優(yōu)化機(jī)器智能模型以滿足終端設(shè)備應(yīng)用在功耗、內(nèi)存和延遲上的限制。

2 建立適合移動(dòng)端的機(jī)器學(xué)習(xí)模型

現(xiàn)在，讓我們討論如何建立適合移動(dòng)端的智能模型。

2.1模型效率

在深入探討開(kāi)發(fā)移動(dòng)端智能模型的細(xì)節(jié)之前，我們先了解一下傳統(tǒng)服務(wù)器端智能模型和移動(dòng)端智能模型的性能數(shù)據(jù)。上圖顯示了模型大小和準(zhǔn)確性之間的數(shù)據(jù)；而下圖顯示了模型準(zhǔn)確性和延遲之間的數(shù)據(jù)。其中紅色虛線框顯示了傳統(tǒng)智能模型的性能數(shù)據(jù)，藍(lán)色虛線框顯示的移動(dòng)端智能模型。從圖中可以看出就模型大小和推理延遲而言 Google Inceptiom等傳統(tǒng)服務(wù)器端智能模型比MobileNet模型要繁重得多。因此，傳統(tǒng)模型過(guò)于繁重，無(wú)法應(yīng)用于移動(dòng)應(yīng)用。

2.2 MobileNetV1

2017年 谷歌發(fā)布了著名的MobileNnet端上深度學(xué)習(xí)架構(gòu)，它的主要貢獻(xiàn)之一是將標(biāo)準(zhǔn)卷積運(yùn)算轉(zhuǎn)換為逐通道卷積運(yùn)算。如左圖所示，逐通道卷積運(yùn)算將標(biāo)準(zhǔn)卷積運(yùn)算分解為兩個(gè)單獨(dú)的卷積運(yùn)算：

第一步，它通過(guò)M個(gè)卷積內(nèi)核對(duì)M個(gè)輸入通道進(jìn)行卷積；

第二步，它對(duì)第一步的輸出進(jìn)行1x1卷積，而不是通過(guò)其他N-1個(gè)不同的卷積運(yùn)算組作為標(biāo)準(zhǔn)卷積運(yùn)算對(duì)輸入進(jìn)行卷積 。

通過(guò)這樣做可以使模型計(jì)算復(fù)雜度和參數(shù)數(shù)量減少約10倍，并使性能與Inception等最新服務(wù)器端智能模型保持一致。

此外，MobileNetmobilenetV1還通過(guò)可以控制全局比例系數(shù)來(lái)對(duì)模型大小進(jìn)行等比例縮放。

2.3 MobileNet V3

2019年研究人員設(shè)計(jì)了一個(gè)全新的MobileNet V3平臺(tái)。它通過(guò)硬件性能關(guān)聯(lián)的模型結(jié)構(gòu)搜索來(lái)構(gòu)建新的MobileNetMobilenet模型。新平臺(tái)通過(guò)將網(wǎng)絡(luò)適應(yīng)性和移動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)搜索融合在一起，并設(shè)置了具有目標(biāo)延遲、 內(nèi)存和功耗的目標(biāo)函數(shù)來(lái)構(gòu)建智能模型。

2.4MobileNet 性能基準(zhǔn)測(cè)試

如圖所示，研究人員正在通過(guò)MobileNetmobilenetvV3和有效的神經(jīng)體系結(jié)構(gòu)搜索提升端上機(jī)器學(xué)習(xí)模型的性能。這些端上智能模型都達(dá)到了與最新服務(wù)器端智能模型相似的性能。但保持了較低的計(jì)算復(fù)雜度。更具體地說(shuō)MobileNet V3以最低的計(jì)算復(fù)雜度限制實(shí)現(xiàn)了最高的準(zhǔn)確性。這有些類似MobileNetmobilenet的體系結(jié)構(gòu)已成為應(yīng)用端上智能模型的參考和基準(zhǔn)。

MLPerf

此外，我想向大家介紹機(jī)器學(xué)習(xí)性能基準(zhǔn)測(cè)試平臺(tái)MLPerf。這是一個(gè)開(kāi)放的平臺(tái)供研究人員發(fā)布智能模型在不同硬件平臺(tái)上的最新性能基準(zhǔn)，包括準(zhǔn)確性、延遲、內(nèi)存占用和功耗。

每項(xiàng)測(cè)試結(jié)果涵蓋最常見(jiàn)的任務(wù)，包括在最流行的數(shù)據(jù)集上進(jìn)行的圖像分類、對(duì)象檢測(cè)、圖像分割和自然語(yǔ)言處理?；谶@些基準(zhǔn)，用戶可以輕松查看，模型性能并為他們的應(yīng)用選擇合適的模型。

2.5TFLite

另一方面，Google發(fā)布了端上智能的基礎(chǔ)架構(gòu)TFLite，并將其作為輕量級(jí)的機(jī)器學(xué)習(xí)庫(kù)以及用于移動(dòng)和嵌入式設(shè)備的工具。它已嵌入到TensorFlow生態(tài)系統(tǒng)內(nèi)，開(kāi)發(fā)人員可以通過(guò)內(nèi)置轉(zhuǎn)換器將訓(xùn)練后的TensorFlow模型轉(zhuǎn)換為TFLite模型格式。轉(zhuǎn)換后的TFLite模型可用于構(gòu)建跨平臺(tái)應(yīng)用程序。

在Android系統(tǒng)中 ，Android神經(jīng)網(wǎng)絡(luò)API提供了本機(jī)接口用于運(yùn)行TFLitetflite模型，并將解釋器提供給開(kāi)發(fā)人員，應(yīng)用開(kāi)發(fā)人員可以構(gòu)建自定義的C ++和 Java API以在設(shè)備上調(diào)用模型進(jìn)行智能推斷。在iosiOS系統(tǒng)中，用戶可以通過(guò)C ++ 直接調(diào)用解釋器。

TFLite的推理速度更快

TFLite通過(guò)以下功能在終端設(shè)備機(jī)器學(xué)習(xí)中脫穎而出。首先，其統(tǒng)一的基于FlatBuffer的模型格式與不同平臺(tái)兼容；其次，它為移動(dòng)端優(yōu)化了預(yù)融合激活和偏差計(jì)算；此外，它還提供了針對(duì)ARM上的NEON優(yōu)化的內(nèi)核從而顯著提高了執(zhí)行速度；最后，它還支持訓(xùn)練后量化。作為最流行的模型優(yōu)化方法之一，模型量化將浮點(diǎn)系數(shù)轉(zhuǎn)換為整數(shù)。通常，量化可以使模型大小減少4倍，并使執(zhí)行時(shí)間加快10-50％。

從圖中可以發(fā)現(xiàn)由TFLite自帶量化工具量化的模型顯著減少了類MobileNet模型和Inception V3模型的推理時(shí)間。此外，采用后期量化開(kāi)發(fā)人員可以利用最新模型而無(wú)需從頭開(kāi)始重新訓(xùn)練模型。

模型壓縮

最近TFLite還發(fā)布了一個(gè)綜合庫(kù)用于將傳統(tǒng)的大型模型壓縮為較小的模型供給終端設(shè)備情形，這被稱為L(zhǎng)earn2Compress。這項(xiàng)技術(shù)采用用戶提供的預(yù)先訓(xùn)練的大型TensorFlow模型作為輸入進(jìn)行訓(xùn)練和優(yōu)化 并自動(dòng)生成尺寸更小、內(nèi)存效率更高、能源效率更高、推理速度更快、準(zhǔn)確性損失最小即用型端上智能模型。具體來(lái)說(shuō)，模型壓縮是通過(guò)刪除對(duì)預(yù)測(cè)最無(wú)用的權(quán)重或操作（如低分?jǐn)?shù)權(quán)重）實(shí)現(xiàn)。

它還引入了8位量化以及聯(lián)合模型訓(xùn)練和模型蒸餾，以從大型模型中獲得緊湊的小型模型。對(duì)于圖像分類Learn2Compress可以生成小型且快速的模型并具有適合移動(dòng)應(yīng)用的良好預(yù)測(cè)精度。例如在ImageNet任務(wù)上Learn2Compress所獲得的模型比Inception V3基準(zhǔn)模型小22倍，比MobileNet V1基準(zhǔn)模型小4倍，準(zhǔn)確度僅下降4.6-7％。

TFLite 任務(wù)API

除了穩(wěn)定的框架和先進(jìn)的學(xué)習(xí)技術(shù)，TFLite還公開(kāi)了一組功能強(qiáng)大且易于使用的工具庫(kù)供應(yīng)用程序開(kāi)發(fā)人員使用TFLite創(chuàng)建ML體驗(yàn)。它為流行的機(jī)器學(xué)習(xí)任務(wù)（包括基于Bert NLP引擎的自然語(yǔ)言分類器、問(wèn)題回答器）以及視覺(jué)任務(wù)API（包括分類器、檢測(cè)器和分段器）提供了優(yōu)化的即用型模型接口。

TFLite任務(wù)庫(kù)可以實(shí)現(xiàn)跨平臺(tái)工作，并且在支持JAVA、 C++和Swift等上開(kāi)發(fā)接受支持。這套TFLite ML機(jī)器學(xué)習(xí)任務(wù)API提供了四個(gè)主要優(yōu)點(diǎn)。首先，它提供了簡(jiǎn)潔且明確的API供非ML機(jī)器學(xué)習(xí)專家使用。其次，它為開(kāi)發(fā)人員提供了高度可擴(kuò)展性和自定義功能，開(kāi)發(fā)者可在不了解模型的情況下構(gòu)建自己的Android和iosOS應(yīng)用程序。第三，它還發(fā)布了功能強(qiáng)大但通用的數(shù)據(jù)處理工具庫(kù)支持通用視覺(jué)和自然語(yǔ)言處理邏輯，以在用戶數(shù)據(jù)和模型所需的數(shù)據(jù)格式之間進(jìn)行轉(zhuǎn)換，工具庫(kù)還提供了可以同時(shí)用于訓(xùn)練和推理的處理邏輯。最后，它通過(guò)優(yōu)化處理獲得了較高的性能，數(shù)據(jù)處理流程將不超過(guò)幾毫秒 從而確保使用TensorFlowTFLite的快速推理體驗(yàn)，所有任務(wù)庫(kù)所用到的模型均由Google研究部門提供支持。接下來(lái)，我將討論如何使用TFLite任務(wù)API 在設(shè)備上構(gòu)建機(jī)器智能應(yīng)用程序。

從Java運(yùn)行TFLite Task APIs

此處，我將展示一個(gè)Android客戶端使用TFLite任務(wù)API 的示例 。Android客戶端將調(diào)用JAVA接口以傳遞輸入信號(hào)，輸入信號(hào)將通過(guò)自身API進(jìn)一步轉(zhuǎn)發(fā)給模型調(diào)用，模型推斷完成后，將輸出結(jié)果發(fā)送給java接口，并進(jìn)一步回傳到Android客戶端。

在示例中，用戶需要將模型文件復(fù)制到設(shè)備上的本地目錄 ：

第一步：導(dǎo)入gradle依賴關(guān)系和模型文件的其他設(shè)置；

第二步：可以使用對(duì)象檢測(cè)器選項(xiàng)創(chuàng)建對(duì)象檢測(cè)器，并通過(guò)調(diào)用檢測(cè)方法進(jìn)行同步推斷。在端到端系統(tǒng)設(shè)計(jì)中，可以利用MediaPipe框架以同步或異步方式進(jìn)行設(shè)計(jì)，請(qǐng)進(jìn)一步參考開(kāi)放源代碼的MediaPipe系統(tǒng)以獲取構(gòu)建端到端視覺(jué)系統(tǒng)的詳細(xì)信息。

3 建立適合移動(dòng)端的機(jī)器學(xué)習(xí)模型

看上去我們已經(jīng)為智能社區(qū)建立端上機(jī)器智能應(yīng)用程序做出了卓越的貢獻(xiàn)，那我們是否可以做得更好？答案是肯定的。

3.1硬件加速

端上機(jī)器學(xué)習(xí)社區(qū)當(dāng)前正在研究的一項(xiàng)主要工作，通過(guò)諸如GPU EdgeTPU 和DSP之類的等硬件加速器來(lái)加速M(fèi)L機(jī)器學(xué)習(xí)推理。上圖顯示了一些最近為移動(dòng)設(shè)備開(kāi)發(fā)的硬件加速器。從圖中可以發(fā)現(xiàn)最新的芯片組（如海思、麒麟980、驍龍855和MediaTtek P9）的性能顯著提高。這個(gè)令人振奮的消息將鼓勵(lì)開(kāi)發(fā)人員在終端設(shè)備上開(kāi)發(fā)更多的應(yīng)用程序。

這張幻燈片中的圖顯示了在ARM GPU和FPGA上運(yùn)行基本濾波操作和圖像分析操作的功耗基準(zhǔn)與在CPU上運(yùn)行相比通過(guò)在GPU和FPGA上進(jìn)行優(yōu)化來(lái)降低能源成本具有顯著優(yōu)勢(shì)。

對(duì)于Filter2D（這是深度學(xué)習(xí)中最常用的操作之一）在GPU上運(yùn)行可以將GPU的功耗降低一半。在FPGA上運(yùn)行可以將功耗進(jìn)一步降低到CPU的四分之一。

我們通過(guò)運(yùn)行移動(dòng)模型（如mobilenetMobileNet） 和服務(wù)器端流行模型（如Iinception）列出了不同硬件平臺(tái)的基準(zhǔn)。在臺(tái)式機(jī)CPU上運(yùn)行MobileNet V1和V2大約需要45毫秒 ；在CPU和FPGA上協(xié)同運(yùn)行時(shí)將顯著減少20倍 。

此外 在嵌入式CPU（如四核Cortex A53 ）上運(yùn)行MobileNet V1和V2將超過(guò)150毫秒，而在EdgeTPU上使用不到2.5毫秒。

通過(guò)對(duì)比CPU和 EdgeTPU上運(yùn)行inception模型，我們同樣可以觀察到運(yùn)行在EdgeTPU的延遲比運(yùn)行在CPU上的延遲顯著減少。

令人難以置信的是上述顯著的延遲降低是通過(guò)右圖所示的微型芯片組實(shí)現(xiàn)的。

EfficientNet-EdgeTPU

在這里，我們要展示一個(gè)利用自動(dòng)機(jī)器學(xué)習(xí)構(gòu)建硬件加速的端上機(jī)器學(xué)習(xí)模型的示例。我們將EfficientNet（也是最先進(jìn)的移動(dòng)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)之一）作為這項(xiàng)工作的基礎(chǔ)。為了構(gòu)建旨在利用Edge TPU的加速器體系結(jié)構(gòu)的 EfficientNets，我們調(diào)用了自動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)搜索框架 ，并使用可以在Edge上高效執(zhí)行的構(gòu)建塊來(lái)擴(kuò)展原始的EfficientNet的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)搜索空間。我們還構(gòu)建并集成了一個(gè)“延遲預(yù)測(cè)器”模塊，該模塊通過(guò)在周期精確的模型結(jié)構(gòu)結(jié)構(gòu)模擬器上運(yùn)行模型來(lái)提供在Edge TPU上執(zhí)行時(shí)模型延遲的估計(jì)。自動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)搜索控制器通過(guò)強(qiáng)化學(xué)習(xí)算法以在嘗試通過(guò)搜索實(shí)現(xiàn)最大化預(yù)測(cè)延遲和模型準(zhǔn)確性的聯(lián)合獎(jiǎng)勵(lì)函數(shù)。

根據(jù)過(guò)去的經(jīng)驗(yàn) 我們知道當(dāng)該模型適合其片上存儲(chǔ)器時(shí)Edge TPU的功耗和性能就將得到最大化。因此，我們還修改了獎(jiǎng)勵(lì)函數(shù)以便為滿足此約束的模型生成更高的獎(jiǎng)勵(lì)。

與現(xiàn)有EfficientNet， ResNet， 以及Inception 模型相比，EfficientNet-EdgeTPU-小/中/大模型通過(guò)專用于Edge硬件的網(wǎng)絡(luò)架構(gòu)可實(shí)現(xiàn)更好的延遲和準(zhǔn)確性，特別值得注意的是比起ResNet-50，我們獲得的,EfficientNet-EdgeTPU-小模型具有更高的精度但運(yùn)行速度快10倍。

作為廣泛采用的終端設(shè)備推理平臺(tái)，TFLite還支持原生硬件加速。在這里，我們顯示在CPU， GPU 和邊緣TPU上運(yùn)行MobileNet V1TFLite模型的示例。

從總體上看CPU在MobileNet Vv1上運(yùn)行浮點(diǎn)，推理一幀數(shù)據(jù)大約需要124毫秒。在CPU上運(yùn)行量化的MobileNet Vv1比浮點(diǎn)模型快1.9倍，在GPU上運(yùn)行浮點(diǎn)模型的速度比CPU快7.7倍，每幀僅使用16毫秒左右。

最后，在Edge TPU上運(yùn)行量化模型僅需2毫秒。這比CPU上的浮點(diǎn)模型快62倍。因?yàn)槲覀兛梢缘贸鐾ㄟ^(guò)硬件加速，可以在延遲、功耗和內(nèi)存方面顯著優(yōu)化模型推理的結(jié)論。

4 端上機(jī)器學(xué)習(xí)的隱私意識(shí)

我們是否已經(jīng)實(shí)現(xiàn)端上機(jī)器智能的最終目標(biāo)？我們才剛開(kāi)始。

4.1 終端上的數(shù)據(jù)很有意義

正如我們?cè)陂_(kāi)始時(shí)提到的，數(shù)據(jù)隱私是促使我們，轉(zhuǎn)向終端設(shè)備機(jī)器智能的另一個(gè)主要原因。但是，最新的端上機(jī)器智能模型的訓(xùn)練仍然需要在服務(wù)器端進(jìn)行。舉一個(gè)典型的應(yīng)用案例：為了使機(jī)器能夠?yàn)槿祟愖R(shí)別狗之類的動(dòng)物，我們可以使用左側(cè)的公共訓(xùn)練圖像來(lái)訓(xùn)練模型，但是 我們通常需要在如右側(cè)圖片所示的極具挑戰(zhàn)性的場(chǎng)景下使用該模型。那么在具有挑戰(zhàn)性的日常個(gè)性化使用案例中如何使模型達(dá)到高精度？一種簡(jiǎn)單的解決方案是，收集私有圖像并通過(guò)集中數(shù)據(jù)中心來(lái)重新訓(xùn)練模型。雖然像Google這樣的大公司已經(jīng)建立了最安全、最強(qiáng)大的云基礎(chǔ)架構(gòu)來(lái)處理這些數(shù)據(jù)，以提供更好的服務(wù)。但這顯然仍然不是最佳的解決方案。因?yàn)樗鹆耸褂糜脩羲饺藬?shù)據(jù)的問(wèn)題，其中可能包含敏感信息，例如用戶人臉、用戶居住空間等。我們?nèi)绾胃纳颇Ｐ偷膫€(gè)性化性能并保護(hù)用戶的隱私。

4.2聯(lián)邦學(xué)習(xí)

現(xiàn)在，對(duì)于通過(guò)用戶與移動(dòng)設(shè)備交互進(jìn)行訓(xùn)練而得到的模型。我們將引入另一種方法——聯(lián)邦學(xué)習(xí)。

聯(lián)邦學(xué)習(xí)使手機(jī)能夠協(xié)作學(xué)習(xí)共享的預(yù)測(cè)模型。同時(shí)將所有訓(xùn)練數(shù)據(jù)保留在設(shè)備上，從而將進(jìn)行機(jī)器學(xué)習(xí)的能力與將數(shù)據(jù)存儲(chǔ)在云中的需求脫鉤，這超出了通過(guò)將模型訓(xùn)練帶入設(shè)備對(duì)移動(dòng)設(shè)備進(jìn)行預(yù)測(cè)使用本地模型的范圍。它的工作方式如下：用戶的設(shè)備下載當(dāng)前模型，通過(guò)從手機(jī)上的數(shù)據(jù)學(xué)習(xí)來(lái)改進(jìn)當(dāng)前模型，然后將更改匯總為一個(gè)小的局部更新，僅使用加密通信將模型的更新發(fā)送到云，并在此立即將其與其他用戶更新平均以改善共享模型。所有訓(xùn)練數(shù)據(jù)都保留在用戶的設(shè)備上，并沒(méi)有將用戶個(gè)人的數(shù)據(jù)更新存儲(chǔ)在云端，聯(lián)邦學(xué)習(xí)可在確保隱私的同時(shí) 提供更智能的模型、更低的延遲和更低的功耗。

這種方法的另一個(gè)直接優(yōu)勢(shì)是除了提供對(duì)共享模型的更新之外，還可以立即使用手機(jī)上改進(jìn)的模型，從而為您使用手機(jī)的方式提供個(gè)性化的體驗(yàn)。

用Gboard測(cè)試聯(lián)邦學(xué)習(xí)

我們目前正在Android的Google鍵盤應(yīng)用Gboard上測(cè)試聯(lián)邦學(xué)習(xí)。當(dāng)Gboard顯示建議的查詢時(shí)，您的手機(jī)將在本地存儲(chǔ)有關(guān)當(dāng)前上下文，以及是否接受建議的信息。聯(lián)邦學(xué)習(xí)會(huì)處理終端設(shè)備上的歷史記錄以提出對(duì)Gboard查詢建議模型下一次迭代的改進(jìn)建議。

對(duì)于擁有數(shù)百萬(wàn)用戶的Gboard而言，將該技術(shù)部署到的不同的設(shè)備中是一個(gè)非常有挑戰(zhàn)的任務(wù)。在實(shí)際部署中，我們使用微型版本的TensorFlow來(lái)實(shí)現(xiàn)在設(shè)備上的模型訓(xùn)練，精心安排的時(shí)間表可確保僅在設(shè)備閑置插入電源和免費(fèi)無(wú)線連接時(shí)進(jìn)行訓(xùn)練，因此不會(huì)影響終端的使用性能。

5 未來(lái)的工作

看起來(lái)我們已經(jīng)達(dá)成了不錯(cuò)的目標(biāo)，那么未來(lái)會(huì)是什么樣？

過(guò)去，所有的訓(xùn)練和推理都是在集中式云系統(tǒng)上進(jìn)行的。這引起人們對(duì)隱私、延遲和可靠性的日益關(guān)注。今天，我們通過(guò)節(jié)省功效的智能設(shè)備，推理來(lái)制作部分分布式機(jī)器智能模型仍在集中式數(shù)據(jù)中心上訓(xùn)練并在本地設(shè)備上運(yùn)行。

在不久的將來(lái)，借助聯(lián)邦學(xué)習(xí)技術(shù)我們將擁有完全分布式的AI以解決隱私問(wèn)題和終身終端設(shè)備學(xué)習(xí)的支持。最近，5G正在全球范圍內(nèi)部署，5G的低延遲和高容量還將使AI處理能夠在設(shè)備、邊緣云和中央云之間分布從而為各種新的和增強(qiáng)的體驗(yàn)提供靈活的混合系統(tǒng)解決方案。

這種無(wú)線邊緣架構(gòu)具有適應(yīng)性，并且可以根據(jù)每個(gè)用例進(jìn)行適當(dāng)?shù)臋?quán)衡。例如，性能和經(jīng)濟(jì)權(quán)衡可能有助于確定如何分配工作負(fù)載以滿足特定應(yīng)用程序所需的延遲或計(jì)算要求。到那時(shí)，我們可以看到loT（物聯(lián)網(wǎng)） 智慧城市和個(gè)性化領(lǐng)域中大量的新興應(yīng)用。

總結(jié)

在本次報(bào)告中，我們簡(jiǎn)要概述了端上機(jī)器學(xué)習(xí)的機(jī)遇和挑戰(zhàn)。其次 我們討論關(guān)于終端設(shè)備機(jī)器學(xué)習(xí)的資源效率計(jì)算。在這一部分中，我們介紹了移動(dòng)模型體系結(jié)構(gòu)TFLite框架用于壓縮模型的高級(jí)技術(shù)，以及用于用戶構(gòu)建端上機(jī)器智能應(yīng)用的開(kāi)源機(jī)器學(xué)習(xí)任務(wù)API。最后，我們介紹了隱私保護(hù)的端上機(jī)器學(xué)習(xí)技術(shù)（聯(lián)邦學(xué)習(xí)）的最新進(jìn)展。我們還指出了端上人工智能的未來(lái)發(fā)展方向。

責(zé)任編輯：lq