三句話讓你認(rèn)識(shí)深度學(xué)習(xí)

開宗明義，三句話認(rèn)識(shí)深度學(xué)習(xí)。

深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)

深度學(xué)習(xí)首先是一種機(jī)器學(xué)習(xí)。深度學(xué)習(xí)的基礎(chǔ)，叫做神經(jīng)網(wǎng)絡(luò)，這本身就是一種機(jī)器學(xué)習(xí)算法。近年來，隨著深度學(xué)習(xí)的火熱和深入人心，人們漸漸將這一概念獨(dú)立出來，由此有了深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)分。

如今神經(jīng)網(wǎng)絡(luò)快速發(fā)展，傳統(tǒng)的機(jī)器學(xué)習(xí)何去何從？

其實(shí)，都只是算法，一種解決問題的辦法，而已。

關(guān)于算法，關(guān)于機(jī)器學(xué)習(xí)，我們引用卡內(nèi)基梅隆大學(xué)（Carnegie Mellon University）Tom Michael Mitchell教授在其1997年出版的書籍Machine Learning中的定義， —— “如果一個(gè)程序可以在任務(wù)T上，隨著經(jīng)驗(yàn)E的增加，效果P也可以隨之增加，則稱這個(gè)程序可以從經(jīng)驗(yàn)中學(xué)習(xí)”[1]

怎么理解這句話呢？以推薦系統(tǒng)為例，我們使用某一類機(jī)器學(xué)習(xí)算法（“一個(gè)程序”），根據(jù)用戶的過往記錄做推薦（“任務(wù)T”），那么隨著用戶的過往記錄不斷積累（“經(jīng)驗(yàn)E”），能夠做的推薦就更準(zhǔn)確（“效果P”）。

簡(jiǎn)而言之，機(jī)器的“學(xué)習(xí)”，是通過以往的經(jīng)驗(yàn)，即數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)內(nèi)部的邏輯，并將學(xué)到的邏輯應(yīng)用在新數(shù)據(jù)上，進(jìn)行預(yù)測(cè)。

深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)，要真的追究起來，人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，三者大概是下面這個(gè)關(guān)系。

人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者的關(guān)系

深度學(xué)習(xí)是一個(gè)數(shù)學(xué)問題

機(jī)器學(xué)習(xí)和數(shù)學(xué)，是深度學(xué)習(xí)的一體兩面。

機(jī)器學(xué)習(xí)是深度學(xué)習(xí)的方法論，數(shù)學(xué)是其背后的理論支撐。

其實(shí)每一種算法，究其根本，都是一種數(shù)學(xué)表達(dá)。無論是機(jī)器學(xué)習(xí)，還是深度學(xué)習(xí)，都是試圖找到一個(gè)函數(shù)，這個(gè)函數(shù)可以簡(jiǎn)單，可以復(fù)雜，函數(shù)的表達(dá)并不重要，只是一個(gè)工具，重要的是這個(gè)函數(shù)能夠盡可能準(zhǔn)確的擬合出輸入數(shù)據(jù)和輸出結(jié)果間的關(guān)系。就像我們?cè)诟鱾€(gè)任務(wù)中做的那樣，比如語音識(shí)別、圖像識(shí)別、下圍棋，人機(jī)問答系統(tǒng)：

機(jī)器學(xué)習(xí)在找輸入和輸出之間的關(guān)系

這就是機(jī)器學(xué)習(xí)要做到的事，找到一個(gè)數(shù)學(xué)表達(dá)，即上述例子中的函數(shù)f。

而深度學(xué)習(xí)的魅力在于，它的數(shù)學(xué)表達(dá)特別的強(qiáng)！

深度學(xué)習(xí)的強(qiáng)大是有數(shù)學(xué)原理支撐的，這個(gè)原理叫做“萬能近似定理”（Universal approximation theorem）。這個(gè)定理的道理很簡(jiǎn)單 —— 神經(jīng)網(wǎng)絡(luò)可以擬合任何函數(shù)，不管這個(gè)函數(shù)的表達(dá)是多么的復(fù)雜。

因?yàn)檫@個(gè)定理，深度學(xué)習(xí)在擬合函數(shù)這一方面的能力十分強(qiáng)大、暴力和神秘。

但是，哪有免費(fèi)的午餐，深度學(xué)習(xí)的強(qiáng)大也帶來了對(duì)應(yīng)的問題 —— 黑箱化

深度學(xué)習(xí)是一個(gè)黑箱

黑箱的意思是，深度學(xué)習(xí)的中間過程不可知，深度學(xué)習(xí)產(chǎn)生的結(jié)果不可控。

一方面，我們比較難知道網(wǎng)絡(luò)具體在做些什么；另一方面，我們很難解釋神經(jīng)網(wǎng)絡(luò)在解決問題的時(shí)候，為什么要這么做，為什么有效果。

在傳統(tǒng)的機(jī)器學(xué)習(xí)中，算法的結(jié)構(gòu)大多充滿了邏輯，這種結(jié)構(gòu)可以被人分析，最終抽象為某種流程圖或者一個(gè)代數(shù)上的公式，最典型的比如決策樹，具有非常高的可解釋性。

一個(gè)決策樹的例子

到了深度學(xué)習(xí)，這樣子的直觀就不見了。簡(jiǎn)單來說，深度學(xué)習(xí)的工作原理，是通過一層層神經(jīng)網(wǎng)絡(luò)，使得輸入的信息在經(jīng)過每一層時(shí)，都做一個(gè)數(shù)學(xué)擬合，這樣每一層都提供了一個(gè)函數(shù)。因?yàn)樯疃葘W(xué)習(xí)有好多層，通過這每一層的函數(shù)的疊加，深度學(xué)習(xí)網(wǎng)絡(luò)的輸出就無限逼近目標(biāo)輸出了。這樣一種“萬能近似”，很多時(shí)候是輸入和輸出在數(shù)值上的一種耦合，而不是真的找到了一種代數(shù)上的表達(dá)式。當(dāng)我們?cè)谡f”擬合“、”函數(shù)“這一類詞的時(shí)候，你或許認(rèn)為我們會(huì)像寫公式一樣把輸入和輸出之間的關(guān)系列在黑板上。但事實(shí)并不是這樣，深度學(xué)習(xí)擬合出來的函數(shù)，一般人還真寫不出來……

所以，很多時(shí)候，你的深度學(xué)習(xí)網(wǎng)絡(luò)能很好的完成你的任務(wù)，可是你并不知道網(wǎng)絡(luò)學(xué)習(xí)到了什么，也不知道網(wǎng)絡(luò)為什么做出了特定的選擇。知其然而不知其所以然，這可以看作是深度學(xué)習(xí)的常態(tài)，也是深度學(xué)習(xí)工作中的一大挑戰(zhàn)。

盡管如此，深度學(xué)習(xí)還是好用的……

誰用誰知道！

所以 ——

擁抱不確定性，愛上深度學(xué)習(xí)。