三種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練

我們身邊的小工具不斷地在充實著我們的生活 —— 智能手表可以檢測我們的生命體征，跟蹤我們的健康狀況；家用揚聲器通過聽我們的對話來識別我們的聲音；智能手機還能夠扮演語法學(xué)家的角色，觀察我們寫了什么來自動修復(fù)我們的特殊打字錯誤。我們很感激這些便利，但我們與電子設(shè)備共享的信息并不總是在我們的所控范圍內(nèi)。

機器學(xué)習(xí)可能需要很重的硬件，所以像手機這樣的“邊緣”設(shè)備通常會向中央服務(wù)器發(fā)送原始數(shù)據(jù)，然后返回經(jīng)過訓(xùn)練的算法。然而，有些人希望訓(xùn)練能夠在本地進行。一種新的人工智能訓(xùn)練方法擴展了小型設(shè)備的訓(xùn)練能力，可能有助于保護隱私。

最強大的機器學(xué)習(xí)系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)，復(fù)雜的函數(shù)充滿可調(diào)參數(shù)。在訓(xùn)練期間，網(wǎng)絡(luò)接收輸入（如一組像素），生成輸出（如標簽“cat”），將其輸出與正確答案進行比較，并調(diào)整其參數(shù)，以便下次做得更好。為了知道如何調(diào)整每個內(nèi)部旋鈕，網(wǎng)絡(luò)需要記住每個旋鈕的效果，但它們的數(shù)量通常為數(shù)百萬甚至數(shù)十億。這需要大量內(nèi)存。訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)可能需要數(shù)百倍的記憶，而僅僅使用一個（也稱為“推理”）。在后一種情況下，一旦將信息傳遞到下一層，內(nèi)存就可以忘記網(wǎng)絡(luò)的每一層做了什么。

為了減少訓(xùn)練階段的記憶需求，研究人員采用了一些技巧。其中一種稱為分頁或卸載，機器將這些激活信息從短期內(nèi)存移動到較慢但更豐富的內(nèi)存類型，如閃存或SD卡，然后在需要時將其恢復(fù)。在另一種稱為重物質(zhì)化的方法中，機器刪除激活，然后稍后再次計算。加州大學(xué)伯克利分校的計算機科學(xué)家、描述了該創(chuàng)新的論文的主要作者Shishir Patil說，它們結(jié)合使用了“次優(yōu)”的“啟發(fā)式”，通常需要大量能量。Patil及其合作者報告的創(chuàng)新將分頁和重新實體化方法結(jié)合了起來。

“將這兩種技術(shù)很好地結(jié)合到這個優(yōu)化問題中，然后解決它，這真的很好，”加州大學(xué)河濱分校的計算機科學(xué)家Jiasi Chen說，他從事邊緣計算研究，但沒有參與這項工作。

7月，Patil在巴爾的摩舉行的機器學(xué)習(xí)國際會議上介紹了他的系統(tǒng)，稱為POET（private optimal energy training）。他首先給出了POET設(shè)備的技術(shù)細節(jié)，以及他所希望訓(xùn)練的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的信息。他指定了內(nèi)存預(yù)算和時間預(yù)算。然后，他要求設(shè)備創(chuàng)建一個培訓(xùn)流程，將能源消耗降至最低。該進程可能決定對某些重新計算效率低下的激活進行分頁，但對其他易于重做但需要大量內(nèi)存存儲的激活進行重新實體化。

突破性創(chuàng)新的關(guān)鍵之一在于將問題定義為混合整數(shù)線性規(guī)劃（MILP）難題，即一組約束和變量之間的關(guān)系。對于每個設(shè)備和網(wǎng)絡(luò)架構(gòu)，POET將其變量插入Patil手工編制的MILP程序，然后找到最佳解決方案。Chen說：“一個主要的挑戰(zhàn)實際上是以一種好的方式來闡述這個問題，這樣你就可以把它輸入到一個解決方案中。因此，您可以捕獲所有真實的系統(tǒng)動態(tài)，如能量、延遲和內(nèi)存?！?/p>

該團隊在四個不同的處理器上測試了POET，其RAM范圍從32KB到8GB。研究人員分別訓(xùn)練了三種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：兩種在圖像識別中流行的類型（VGG16和ResNet-18），以及一種流行的語言處理網(wǎng)絡(luò)（BERT）。在許多測試中，該系統(tǒng)可以減少大約80%的內(nèi)存使用量，而不會大幅增加能耗。可比較的方法不能同時做到這兩個。據(jù)Patil稱，研究表明，BERT現(xiàn)在可以在最小的設(shè)備上進行訓(xùn)練，這在以前是不可能的。

Patil說：“當(dāng)我們開始的時候，POET基本上是一個很好的主意?！爆F(xiàn)在，幾家公司已經(jīng)開始使用它，并且有一家大公司已經(jīng)在其智能揚聲器中試用了它。Patil說，非常棒的一點是，POET不會通過“量化”或縮寫激活來降低網(wǎng)絡(luò)精度，從而節(jié)省內(nèi)存。因此，設(shè)計網(wǎng)絡(luò)的團隊不必與實現(xiàn)網(wǎng)絡(luò)的團隊協(xié)調(diào)，就精度和內(nèi)存之間的權(quán)衡進行談判。

Patil指出，除了隱私問題外，使用POET還有其他原因。一些設(shè)備需要在本地訓(xùn)練網(wǎng)絡(luò)，以解決互聯(lián)網(wǎng)連接很差或沒有連接的問題 —— 這些設(shè)備包括在農(nóng)場、潛艇或太空中使用的設(shè)備。由于數(shù)據(jù)傳輸需要太多能量，其他設(shè)置可以從創(chuàng)新中受益。POET還可以使大型設(shè)備互聯(lián)網(wǎng)服務(wù)器更節(jié)省內(nèi)存和能源。但對于數(shù)據(jù)保密，Patil說，“我想這是非常及時的，對吧？”當(dāng)大型設(shè)備——互聯(lián)網(wǎng)服務(wù)器——訓(xùn)練大型網(wǎng)絡(luò)時，也可能從POET中受益。