機(jī)器學(xué)習(xí) | autoML自動化深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計可行嗎?

摘要：機(jī)器學(xué)習(xí)（深度學(xué)習(xí)為其中一分支）技術(shù)成為各產(chǎn)業(yè)智慧化的核心能力，但是算法的設(shè)計復(fù)雜，需要專業(yè)知識與經(jīng)驗，對于好的人才，需求遠(yuǎn)大于供給。

機(jī)器學(xué)習(xí)（深度學(xué)習(xí)為其中一分支）技術(shù)成為各產(chǎn)業(yè)智慧化的核心能力，但是算法的設(shè)計復(fù)雜，需要專業(yè)知識與經(jīng)驗，對于好的人才，需求遠(yuǎn)大于供給。為了彌補(bǔ)這個空缺，這幾年自動化機(jī)器學(xué)習(xí)工具（autoML）新研究興起，希望有自動化的系統(tǒng)，在給定問題（通常是標(biāo)記的數(shù)據(jù)）之后可以自動生成機(jī)器（深度）學(xué)習(xí)算法。在信息論上，這是非常復(fù)雜的問題，需要大量運(yùn)算資源，所以極具挑戰(zhàn)。

autoML研究已經(jīng)發(fā)展一段時間。例如開源軟件auto-sklearn，可以自動找出各種（傳統(tǒng)、較簡易）算法的組合，試著優(yōu)化整體預(yù)測能力，但目前僅局限于參數(shù)量較少的簡易模型。目前最受矚目的應(yīng)該是「神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜尋」（Neural Architecture Search； NAS），希望自動設(shè)計出解決特定問題的類神經(jīng)網(wǎng)絡(luò)，原因是深度學(xué)習(xí)網(wǎng)絡(luò)的效能優(yōu)異，而且有機(jī)會在各平臺實現(xiàn)，商業(yè)機(jī)會龐大。

NAS做為熱門的研究領(lǐng)域，其原則是在可能的神經(jīng)網(wǎng)絡(luò)設(shè)計架構(gòu)中找出最佳的組合。主要的結(jié)構(gòu)（參考附圖）包括3部分——可能網(wǎng)絡(luò)構(gòu)成空間、候選網(wǎng)絡(luò)生成（搜尋）策略、網(wǎng)絡(luò)效能評估策略等。

「可能的網(wǎng)絡(luò)構(gòu)成空間」是影響NAS能否收斂的關(guān)鍵因素。試想一下，目前常用的網(wǎng)絡(luò)參數(shù)量都是百萬、千萬等級，要組合出這些可能性，不可能在有限的時間、運(yùn)算資源內(nèi)完成。所以目前的組合考慮大多限縮在某些特定、常用的網(wǎng)絡(luò)架構(gòu)（卷積層大小、normalization方式、pooling方法等），壓縮整體搜尋的空間。

另一個需要大量運(yùn)算時間的是對每個找出的候選網(wǎng)絡(luò)進(jìn)行「效能評估」，進(jìn)而修正網(wǎng)絡(luò)生成的方向。開始時大家對這些候選網(wǎng)絡(luò)做最完整的參數(shù)訓(xùn)練，可以想象需要大量的時間資源，所以較早的研究曾經(jīng)使用到800個GPU、28天的時間。近來大家采用的策略都是減低訓(xùn)練數(shù)據(jù)、降低訓(xùn)練次數(shù)、共享網(wǎng)絡(luò)參數(shù)，甚至是用推估的方式直接猜測效能，完全省略耗時的網(wǎng)絡(luò)訓(xùn)練。目前已經(jīng)可以大大降低所需的運(yùn)算量。

「候選網(wǎng)絡(luò)生成」是為了搜尋出可能具有潛力的候選網(wǎng)絡(luò)，還必須利用之前生成過的網(wǎng)絡(luò)效能來修正網(wǎng)絡(luò)生成（搜尋）的方式。所以傳統(tǒng)的演化式算法在這些優(yōu)化過程又需被大量使用，不過一般認(rèn)為最有效的方式是使用強(qiáng)化學(xué)習(xí)（reinforcement learning），按照之前生成網(wǎng)絡(luò)的評量，修正候選網(wǎng)絡(luò)的生成策略。 在實際的發(fā)展上，目前自動生成的網(wǎng)絡(luò)，在某些實驗數(shù)據(jù)集上已可超越資深研究人員的手工設(shè)計。但這也不令人意外，因其是利用大量運(yùn)算資源來更優(yōu)化設(shè)計效能。此外，NAS算法只能在研究人員認(rèn)為有效以及給定的網(wǎng)絡(luò)組件組合中搜尋，尚未有「創(chuàng)造」新組件的能力。

以企業(yè)的角度，我認(rèn)為autoML該視為輔助性的工具來加速深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計。但是主要架構(gòu)的獨特性、競爭性，或是能否在垂直領(lǐng)域中勝出，還是需要了解該領(lǐng)域的資深研究人員給出適合的基本結(jié)構(gòu)，讓autoML算法找出最神經(jīng)網(wǎng)絡(luò)。

目前應(yīng)用上，除了優(yōu)化正確率之外，基于許多場域的實際考慮，我們也會將速度、參數(shù)量、耗電量、平臺目標(biāo)（行動、工作站、嵌入系統(tǒng)等）、內(nèi)存大小等當(dāng)作多個優(yōu)化的標(biāo)準(zhǔn)。所以autoML可以加速智慧技術(shù)的落地。

autoML的興起，對產(chǎn)業(yè)界（或個人職涯）傳遞怎樣的訊息呢？相關(guān)自動化技術(shù)絕對會優(yōu)化、縮短智慧算法研發(fā)，但是頂尖的智慧研發(fā)人員依舊無法取代。他們與autoML相互搭配，會是最有效率的研發(fā)程序。但是對于補(bǔ)習(xí)式教育訓(xùn)練出的的機(jī)器學(xué)習(xí)工程師，很可能會被autoML取代。此外，這些工具也會被其他競爭公司使用，能讓公司產(chǎn)生差異的還是對前瞻技術(shù)的提早投入，以及對于機(jī)器學(xué)習(xí)領(lǐng)域的通盤（或是特殊領(lǐng)域的深度）了解，或是將深度學(xué)習(xí)技術(shù)結(jié)合跨領(lǐng)域（如醫(yī)學(xué)、金融、安全等）應(yīng)用。淺碟型的技術(shù)投資，對公司（或職業(yè)生涯）長期的發(fā)展性都不大！