為特定任務(wù)尋找最合適的優(yōu)化機(jī)器學(xué)習(xí)算法是一件耗時費(fèi)力的工作,因?yàn)闆]有一種算法能適用于所有任務(wù)。IBM的研究人員提出“神經(jīng)突變”進(jìn)化算法,可以為機(jī)器學(xué)習(xí)任務(wù)自動選擇最合適的算法,選擇速度提升了50000倍,錯誤率僅上升0.6%.
機(jī)器學(xué)習(xí)系統(tǒng)并非是“生而平等”的。沒有一種算法能應(yīng)對所有的機(jī)器學(xué)習(xí)任務(wù),這就讓尋找最優(yōu)的機(jī)器學(xué)習(xí)算法成為一項艱巨又耗時的工作。不過這個問題現(xiàn)在有希望解決了,最近IBM的研究人員開發(fā)了一套能夠自動選擇AI優(yōu)化算法的系統(tǒng)。
IBM愛爾蘭研究院的數(shù)據(jù)科學(xué)家Martin Wistuba,在其近日發(fā)表的博客文章中介紹了自己開發(fā)的這套系統(tǒng)。他聲稱,該系統(tǒng)將自動選擇優(yōu)化AI算法的速度提升了5萬倍,錯誤率僅上升了0.6%。
Wistuba表示,這套進(jìn)化算法系統(tǒng)能將選擇適當(dāng)?shù)臋C(jī)器學(xué)習(xí)架構(gòu)的時間縮減至幾個小時,讓每個人都能有條件對深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)進(jìn)行優(yōu)化。
面向機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)突變算法
該方法將卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)視為神經(jīng)細(xì)胞序列,然后應(yīng)用一系列突變,以找到一種結(jié)構(gòu),可以提升給定數(shù)據(jù)集和機(jī)器學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)的性能。
這種方法大大縮短了網(wǎng)絡(luò)訓(xùn)練時間。這些突變會改變網(wǎng)絡(luò)結(jié)構(gòu),但不會改變網(wǎng)絡(luò)的預(yù)測,網(wǎng)絡(luò)的結(jié)構(gòu)變化可能包括添加新的層、添加新連接或擴(kuò)展內(nèi)核或現(xiàn)有層。
保留原函數(shù)的神經(jīng)網(wǎng)絡(luò)突變示例。右側(cè)的體系結(jié)構(gòu)是突變后的網(wǎng)絡(luò),但與左側(cè)的體系結(jié)構(gòu)具有相同的預(yù)測結(jié)果(由相同顏色表示)
實(shí)驗(yàn)評估:速度提升5萬倍,錯誤率僅上升0.6%
實(shí)驗(yàn)中,研究人員將新神經(jīng)進(jìn)化方法與CIFAR-10和CIFAR-100數(shù)據(jù)集上的圖像分類任務(wù)的其他幾種方法進(jìn)行了比較。這些數(shù)據(jù)集通常用于訓(xùn)練機(jī)器學(xué)習(xí)和計算機(jī)視覺算法的圖像集。
與最先進(jìn)的人工設(shè)計架構(gòu)、基于強(qiáng)化學(xué)習(xí)的架構(gòu)搜索方法、以及基于進(jìn)化算法的其他自動化方法的結(jié)果相比,結(jié)構(gòu)突變算法在分類錯誤上稍高出前幾種方法,但耗時要少得多,比其他方法快了50000倍,錯誤率最多僅比基準(zhǔn)數(shù)據(jù)集CIFAR-10上的最有力競爭對手高出0.6%。
下圖所示為算法的優(yōu)化過程。在圖2中,每個點(diǎn)代表不同的結(jié)構(gòu),連接線代表突變。不同顏色所示為每個結(jié)構(gòu)的精度,x軸表示時間??梢钥吹?,準(zhǔn)確率在前10個小時內(nèi)迅速上升,之后緩慢上升、最后趨于穩(wěn)定。
深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計的進(jìn)化算法優(yōu)化
圖示為隨時間推移,進(jìn)化算法的優(yōu)化過程
下圖所示為隨著時間的推移,深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的演變情況。
網(wǎng)絡(luò)結(jié)構(gòu)隨時間的演變,圖中某些中間狀態(tài)未顯示
實(shí)際上,自動算法選擇并不新鮮。谷歌在智能手機(jī)面部識別和目標(biāo)檢測上也在使用這類方法,如果IBM這一的系統(tǒng)性能確實(shí)如其所言,它可能代表著該領(lǐng)域內(nèi)的一次重大進(jìn)步。
將來,研究人員希望將這種優(yōu)化集成到IBM的云服務(wù)中,并將其提供給客戶。此外還計劃將其擴(kuò)展到更大的數(shù)據(jù)集上,如ImageNet和其他類型的數(shù)據(jù),如時間序列和文本、自然語言處理任務(wù)等。
Wistuba將于9月在愛爾蘭都柏林舉行的歐洲機(jī)器學(xué)習(xí)和數(shù)據(jù)庫知識發(fā)現(xiàn)會議(ECML-PKDD)會議上介紹這種方法。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4717瀏覽量
100006 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8306瀏覽量
131841 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1197瀏覽量
24538
原文標(biāo)題:神經(jīng)網(wǎng)絡(luò)突變自動選擇AI優(yōu)化算法,速度提升50000倍!
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論