談?wù)剻C(jī)器學(xué)習(xí)的發(fā)展史及發(fā)展前景

普華永道最近推出了一系列機(jī)器學(xué)習(xí)信息圖示，很好地將機(jī)器學(xué)習(xí)的發(fā)展歷史、關(guān)鍵方法以及未來(lái)會(huì)如何影響社會(huì)生活展現(xiàn)了出來(lái)?；A(chǔ)概念部分包括機(jī)器學(xué)習(xí)各大學(xué)派錯(cuò)綜關(guān)系的梳理；應(yīng)用部分則描述了機(jī)器學(xué)習(xí)在社會(huì)中作用。作為專業(yè)的咨詢機(jī)構(gòu)，普華永道繪制的信息圖非常專業(yè)，是值得珍藏的材料。新智元在此基礎(chǔ)上進(jìn)行了解說(shuō)?！具M(jìn)入新智元后臺(tái)，回復(fù)“170422”下載完整信息圖示】

AI 如何能成為商業(yè)的主流？這需要不同研究方法的結(jié)合，以及大量人類的智慧。

我們正處在 AI 取得突破性進(jìn)展的時(shí)代：更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)伴著有效的語(yǔ)音識(shí)別訓(xùn)練數(shù)據(jù)將亞馬遜的 Echo 和谷歌的 Home 帶進(jìn)了千家萬(wàn)戶。深度學(xué)習(xí)在圖像、語(yǔ)音和其他模式識(shí)別中取得的準(zhǔn)確度提升使得微軟和谷歌的機(jī)器翻譯被更多人使用。圖像識(shí)別的增強(qiáng)使 Facebook 的照片搜索和谷歌照片中的 AI 相關(guān)功能得以實(shí)現(xiàn)?？傮w來(lái)說(shuō)，這些進(jìn)展使得機(jī)器識(shí)別的能力在很大程度上可以被消費(fèi)者使用了。

在商業(yè)上，如何取得相似的進(jìn)展？這需要高質(zhì)量的訓(xùn)練數(shù)據(jù)、數(shù)字化數(shù)據(jù)處理和數(shù)據(jù)科學(xué)家，同時(shí)需要大量的人類智慧，比如請(qǐng)語(yǔ)言領(lǐng)域的專家來(lái)調(diào)整、精修可計(jì)算的、邏輯貫通的商業(yè)語(yǔ)境，以使得計(jì)算機(jī)實(shí)現(xiàn)在商業(yè)領(lǐng)域的邏輯推理。商業(yè)領(lǐng)袖們也要花時(shí)間來(lái)教導(dǎo)機(jī)器將其智能融入具體領(lǐng)域內(nèi)的處理進(jìn)程。

一些以統(tǒng)計(jì)學(xué)為導(dǎo)向的機(jī)器學(xué)習(xí)研究流派，比如聯(lián)結(jié)學(xué)派、貝葉斯學(xué)派和類推學(xué)派，會(huì)擔(dān)心符號(hào)學(xué)派推動(dòng)的 “human-in-the-loop” 方法無(wú)法擴(kuò)展。但是，我們期待這一融合了幾種流派的、人類和機(jī)器間相互反饋的環(huán)，在接下來(lái)的幾年中，會(huì)在企業(yè)內(nèi)部變得更為常見(jiàn)。

機(jī)器學(xué)習(xí)演化史：各學(xué)派發(fā)展融合，最終讓自動(dòng)機(jī)器成為可能

長(zhǎng)久以來(lái)，各種派別的人工智能研究者總是在相互競(jìng)爭(zhēng)。相互合作的時(shí)機(jī)到來(lái)了嗎？他們不得不握手言和，因?yàn)橹挥泻献鲗?a target="_blank">算法整合才能實(shí)現(xiàn)真正的通用人工智能（AGI）。下面，我們就來(lái)看看機(jī)器學(xué)習(xí)方法走過(guò)了什么樣的歷程，未來(lái)又將如何？

符號(hào)學(xué)派（Symbolists）：是使用基于規(guī)則的符號(hào)系統(tǒng)做推理的人。大部分AI都圍繞著這種方法。使用Lisp和Prolog的方法屬于這一派，使用SemanticWeb，RDF和OWL的方法也屬于這一派。其中一個(gè)最雄心勃勃的嘗試是Doug Lenat在80年代開(kāi)發(fā)的Cyc，試圖用邏輯規(guī)則將我們對(duì)這個(gè)世界的理解編碼。這種方法主要的缺陷在于其脆弱性，因?yàn)樵谶吘壡闆r下，一個(gè)僵化的知識(shí)庫(kù)似乎總是不適用。但在現(xiàn)實(shí)中存在這種模糊性和不確定性是不可避免的。愛(ài)用方法：規(guī)則和決策樹(shù)

貝葉斯學(xué)派（Bayesians）：是使用概率規(guī)則及其依賴關(guān)系進(jìn)行推理的一派。概率圖模型（PGM）是這一派通用的方法，主要的計(jì)算機(jī)制是用于抽樣分布的蒙特卡羅方法。這種方法與符號(hào)學(xué)方法的相似之處在于，可以以某種方式得到對(duì)結(jié)果的解釋。這種方法的另一個(gè)優(yōu)點(diǎn)是存在可以在結(jié)果中表示的不確定性的量度。愛(ài)用方法：樸素貝葉斯或馬爾科夫

聯(lián)結(jié)學(xué)派（Connectionists）：這一派的研究者相信智能起源于高度互聯(lián)的簡(jiǎn)單機(jī)制。這種方法的第一個(gè)具體形式是出現(xiàn)于1959年的感知器。自那以后，這種方法消亡又復(fù)活了好幾次。其最新的形式是深度學(xué)習(xí)。愛(ài)用方法：神經(jīng)網(wǎng)絡(luò)

進(jìn)化學(xué)派（Evolutionists）：是應(yīng)用進(jìn)化的過(guò)程，例如交叉和突變以達(dá)到一種初期的智能行為的一派。在深度學(xué)習(xí)中，GA確實(shí)有被用來(lái)替代梯度下降法，所以它不是一種孤立的方法。這個(gè)學(xué)派的人也研究細(xì)胞自動(dòng)機(jī)（cellular automata ），例如Conway的“生命游戲”和復(fù)雜自適應(yīng)系統(tǒng)（GAS）。愛(ài)用方法：遺傳算法

類推學(xué)派（The analogizers）：更多地關(guān)注心理學(xué)和數(shù)學(xué)最優(yōu)化，通過(guò)外推來(lái)進(jìn)行相似性判斷。類推學(xué)派遵循“最近鄰”原理進(jìn)行研究。各種電子商務(wù)網(wǎng)站上的產(chǎn)品推薦（例如亞馬遜或 Netflix的電影評(píng)級(jí)）是類推方法最常見(jiàn)的示例。愛(ài)用方法：支持向量機(jī)（SVM）

上世紀(jì) 80 年代流行符號(hào)學(xué)派，主導(dǎo)方法是知識(shí)工程（Knowledge engineering），由某個(gè)領(lǐng)域?qū)＜抑圃炷軌蛟谔囟I(lǐng)域發(fā)揮一定決策輔助的機(jī)器，也即所謂的“專家機(jī)”。

上世紀(jì) 90 年代開(kāi)始，貝葉斯學(xué)派發(fā)展了起來(lái)，概率論成為當(dāng)時(shí)的主流思想，基于的原理是可以擴(kuò)展的比較和對(duì)比，這種方法能夠適用的場(chǎng)景比較多。

到上世紀(jì)末至今，連接學(xué)派掀起熱潮，神經(jīng)科學(xué)和概率論的方法得到了廣泛應(yīng)用。神經(jīng)網(wǎng)絡(luò)可以更精準(zhǔn)地識(shí)別圖像、語(yǔ)音，做好機(jī)器翻譯乃至情感分析（sentiment analysis）等任務(wù)。同時(shí)，由于神經(jīng)網(wǎng)絡(luò)需要大量的計(jì)算，基礎(chǔ)架構(gòu)也從上世紀(jì) 80 年代的服務(wù)器便為大規(guī)模數(shù)據(jù)中心或者云。這部分內(nèi)容相信大家都非常熟悉了。

如今，各學(xué)派開(kāi)始相互借鑒融合，21 世紀(jì)的頭十年，最顯著的就是連接學(xué)派和符號(hào)學(xué)派的結(jié)合，由此產(chǎn)生了記憶神經(jīng)網(wǎng)絡(luò)以及能夠根據(jù)知識(shí)進(jìn)行簡(jiǎn)單推理的智能體。基礎(chǔ)架構(gòu)也向大規(guī)模云計(jì)算轉(zhuǎn)換。

第二個(gè)十年，連接學(xué)派、符號(hào)學(xué)派和貝葉斯學(xué)派也將融合到一起，實(shí)際上我們現(xiàn)在已經(jīng)看到了這樣的趨勢(shì)，比如 DeepMind 的貝葉斯 RNN，而主要的局面將是感知任務(wù)由神經(jīng)網(wǎng)絡(luò)完成，但涉及到推理和行動(dòng)還是需要人為編寫(xiě)規(guī)則。

從 2040 年以后，根據(jù)普華永道的預(yù)測(cè)，主流學(xué)派將成為 Algorithmic convergence，也即各種算法融合在一起，屆時(shí)機(jī)器自主學(xué)習(xí)，也即元學(xué)習(xí)（Meta-learning）實(shí)現(xiàn)，計(jì)算服務(wù)將無(wú)處不在。

機(jī)器學(xué)習(xí)：工作原理及適用場(chǎng)景

機(jī)器學(xué)習(xí)通過(guò)使人類能夠“教”機(jī)器如何學(xué)習(xí)，使人類和機(jī)器的聯(lián)系更為緊密。機(jī)器通過(guò)處理合適的訓(xùn)練集來(lái)學(xué)習(xí)，這些訓(xùn)練集包含優(yōu)化一個(gè)算法所需的各種特征。這個(gè)算法使機(jī)器能夠執(zhí)行特定的任務(wù)，例如對(duì)電子郵件進(jìn)行分類。

但是，其好處遠(yuǎn)遠(yuǎn)不止過(guò)濾電子郵件，那些十年前就能做到了。如今，在機(jī)器學(xué)習(xí)的助力下，無(wú)人機(jī)可以實(shí)時(shí)近距離地拍攝例如橋梁之類的地方，然后快速、準(zhǔn)確地評(píng)估重建項(xiàng)目的范圍。

下面，普華永道的信息圖示概述了機(jī)器學(xué)習(xí)的工作原理，機(jī)器學(xué)習(xí)與人工智能的關(guān)系，以及企業(yè)應(yīng)該在哪些地方利用它們。

機(jī)器學(xué)習(xí)能夠通過(guò)“學(xué)習(xí)”大量的數(shù)據(jù)，在不需要人為編程的情況下，生成以及識(shí)別特定的對(duì)象，比如人臉。目前，機(jī)器學(xué)習(xí)也是商業(yè)應(yīng)用中最常用的算法。

那么，機(jī)器學(xué)習(xí)跟人工智能之間具體是怎樣的關(guān)系呢？

機(jī)器學(xué)習(xí)是一類關(guān)注從數(shù)據(jù)中找到模式，并根據(jù)這些模式進(jìn)行預(yù)測(cè)的研究和算法。機(jī)器學(xué)習(xí)屬于人工智能，它與數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)、模式識(shí)別等相關(guān)領(lǐng)域的關(guān)系如上圖所示。接下來(lái)看看機(jī)器學(xué)習(xí)如何工作。

根據(jù)普華永道信息圖的總結(jié)，機(jī)器學(xué)習(xí)的主要流程/步驟：

選擇數(shù)據(jù)：這一過(guò)程又分為三部分，分別是訓(xùn)練用數(shù)據(jù)、驗(yàn)證用數(shù)據(jù)、測(cè)試用數(shù)據(jù)

數(shù)據(jù)建模：使用訓(xùn)練數(shù)據(jù)構(gòu)建涉及相關(guān)特征的模型

驗(yàn)證模型：用驗(yàn)證數(shù)據(jù)驗(yàn)證建立的模型

調(diào)試模型：為了提升模型的性能，使用更多的數(shù)據(jù)、不同的特征，調(diào)整參數(shù)，這也是最耗時(shí)耗力的一步

使用模型：部署模型訓(xùn)練好的模型，對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)

測(cè)試模型：使用測(cè)試用數(shù)據(jù)驗(yàn)證模型，并評(píng)估模型的性能

接下來(lái)，我們看看機(jī)器學(xué)習(xí)在傳統(tǒng)編程、統(tǒng)計(jì)學(xué)這些常見(jiàn)方法中處于什么樣的地位。

與傳統(tǒng)編程和統(tǒng)計(jì)學(xué)方法不同，在機(jī)器學(xué)習(xí)當(dāng)中，數(shù)據(jù)科學(xué)家使用訓(xùn)練數(shù)據(jù)“教育”計(jì)算機(jī)，然后讓計(jì)算機(jī)執(zhí)行任務(wù)。由此，產(chǎn)生了智能應(yīng)用（Intelligent App）。圖中所舉的例子是智能農(nóng)業(yè)，通過(guò)無(wú)人機(jī)采集的數(shù)據(jù)進(jìn)行精準(zhǔn)的施肥、灌溉等操作。

在實(shí)際應(yīng)用中機(jī)器學(xué)習(xí)有很多適用場(chǎng)景。下圖給出了３個(gè)例子：

1. 快速三維成圖和建模對(duì)一個(gè)鐵路橋梁重建項(xiàng)目，PwC 數(shù)據(jù)科學(xué)家和領(lǐng)域?qū)＜覍C(jī)器學(xué)習(xí)應(yīng)用于無(wú)人機(jī)收集到的數(shù)據(jù)。這樣的組合使得對(duì)正在進(jìn)行的工作進(jìn)行精確的監(jiān)控和快速的反饋成為可能。

2. 加強(qiáng)分析以減輕風(fēng)險(xiǎn)為了檢測(cè)內(nèi)幕交易，PwC 結(jié)合機(jī)器學(xué)習(xí)與其他分析技術(shù)，發(fā)掘更全面的用戶資料，更深入地了解復(fù)雜的可疑行為。

3. 預(yù)測(cè)最佳表現(xiàn)者PwC 使用機(jī)器學(xué)習(xí)和其他分析技術(shù)來(lái)評(píng)估墨爾本杯參賽的各匹馬的潛力。

實(shí)際應(yīng)用機(jī)器學(xué)習(xí)：什么才是特定任務(wù)的正確算法？

人工智能和機(jī)器學(xué)習(xí)是企業(yè)界的熱門(mén)話題，公司的領(lǐng)導(dǎo)者對(duì)如何利用它們改善及自動(dòng)化業(yè)務(wù)流程抱有很高的期望。實(shí)際上，根據(jù)普華永道《2017全球數(shù)字化IQ調(diào)查》，全球約有54% 的機(jī)構(gòu)正在大力投資AI，這個(gè)數(shù)字在三年內(nèi)將提升到63%。

那么，AI 如何解決商業(yè)上的問(wèn)題，例如幫助你弄清楚為什么流失了客戶，或評(píng)估信貸申請(qǐng)人的風(fēng)險(xiǎn)？這取決于許多因素，尤其是算法使用的數(shù)據(jù)以及要訓(xùn)練的類型。什么是特定任務(wù)的正確算法？報(bào)告調(diào)查了最常用的算法以及它們解決的商業(yè)問(wèn)題。

下面列舉了最常用的算法及其使用案例。

機(jī)器學(xué)習(xí)中常用的算法有很多，具體需要用哪種，很大程度上取決于你手頭的數(shù)據(jù)及其特征，你的訓(xùn)練目標(biāo)，尤其是具體的使用場(chǎng)景。除非特殊情況，不必使用最復(fù)雜的算法。下面是常見(jiàn)的機(jī)器學(xué)習(xí)算法。

1. 決策樹(shù)（Decision Trees）

決策樹(shù)是一個(gè)決策支持工具，它使用樹(shù)形圖或決策模型以及序列可能性。包括各種偶然事件的后果、資源成本、功效。從商務(wù)決策的角度來(lái)看，大部分情況下，決策樹(shù)是一個(gè)人為了評(píng)估做出正確決定的概率需要問(wèn)的是/否問(wèn)題的最小數(shù)值。它能讓你以一個(gè)結(jié)構(gòu)化和系統(tǒng)化的方式來(lái)處理這個(gè)問(wèn)題，然后得出一個(gè)合乎邏輯的結(jié)論。

2. 支持向量機(jī)

支持向量機(jī)（SVM）是二元分類算法。給定一組兩種類型的N維的地方點(diǎn)，SVM產(chǎn)生一個(gè)（N - 1）維超平面到這些點(diǎn)分成2組。假設(shè)你有兩種類型的點(diǎn)，且它們是線性可分的。 SVM將找到一條直線將這些點(diǎn)分成2種類型，并且這條直線會(huì)盡可能地遠(yuǎn)離所有的點(diǎn)。在規(guī)模上，目前使用SVM（在適當(dāng)修改的情況下）解決的最大的問(wèn)題包括顯示廣告、人類剪接位點(diǎn)識(shí)別、基于圖像的性別檢測(cè)和大規(guī)模的圖像分類等等。

3. 邏輯回歸

回歸是非常常用的方法。其中，邏輯回歸是一種強(qiáng)大的統(tǒng)計(jì)方法，它能建模出一個(gè)二項(xiàng)結(jié)果與一個(gè)（或多個(gè)）解釋變量。它通過(guò)估算使用邏輯運(yùn)算的概率，測(cè)量分類依賴變量和一個(gè)（或多個(gè)）獨(dú)立的變量之間的關(guān)系，是累積的邏輯分布情況。

總的來(lái)說(shuō)，邏輯回歸可以用于以下場(chǎng)景：

車流分析

信用評(píng)分

衡量營(yíng)銷活動(dòng)的成功率

預(yù)測(cè)某個(gè)產(chǎn)品的收入

某一天是否會(huì)發(fā)生地震？

4. 樸素貝葉斯分類

樸素貝葉斯分類是一種十分簡(jiǎn)單的分類算法，方程 P(A|B)是后驗(yàn)概率，P(B|A)是可能性，P(A)是類先驗(yàn)概率，而P(B)是預(yù)測(cè)先驗(yàn)概率。樸素貝葉斯的思想基礎(chǔ)是這樣的：對(duì)于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別。它的現(xiàn)實(shí)使用例子有：

將一篇新的文章歸類到科技、政治或者運(yùn)動(dòng)

檢查一段文本表達(dá)的是積極情緒還是消極情緒

用于臉部識(shí)別軟件

客戶分類

5. 隱馬爾科夫模型

可觀察的馬爾科夫決策過(guò)程是確定性的——一個(gè)給定的狀態(tài)總是遵循另一個(gè)給定的狀態(tài)。例如交通信號(hào)燈的模式。

相反，隱馬爾科夫模型通過(guò)分析可觀察的數(shù)據(jù)來(lái)計(jì)算隱藏狀態(tài)的概率，然后通過(guò)分析隱藏狀態(tài)來(lái)估計(jì)未來(lái)可能觀察到的模式。一個(gè)例子是，通過(guò)分析高氣壓（或低氣壓）的概率來(lái)預(yù)測(cè)天氣是晴天，雨天或多云的可能性。

6. 隨機(jī)森林

隨機(jī)森林算法結(jié)合了多個(gè)樹(shù)，使用隨機(jī)挑選的數(shù)據(jù)子集，以此提升決策樹(shù)的分析準(zhǔn)確率。上圖中的例子展示的是與乳腺癌復(fù)發(fā)相關(guān)的不同基因及其幾率。隨機(jī)深林算法的優(yōu)勢(shì)在于能夠處理大規(guī)模數(shù)據(jù)集，以及大量看似不相關(guān)的數(shù)據(jù)，可以用于風(fēng)險(xiǎn)評(píng)估和客戶信息分析。

7. 遞歸神經(jīng)網(wǎng)絡(luò)

實(shí)際上，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是兩種人工神經(jīng)網(wǎng)絡(luò)的總稱。一種是時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network），另一種是結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）。時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的神經(jīng)元間連接構(gòu)成有向圖，而結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)利用相似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遞歸構(gòu)造更為復(fù)雜的深度網(wǎng)絡(luò)。RNN一般指代時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，正如上圖所示。

時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)可以描述動(dòng)態(tài)時(shí)間行為，因?yàn)楹颓梆伾窠?jīng)網(wǎng)絡(luò)（feedforward neural network）接受較特定結(jié)構(gòu)的輸入不同，RNN 將狀態(tài)在自身網(wǎng)絡(luò)中循環(huán)傳遞，因此可以接受更廣泛的時(shí)間序列結(jié)構(gòu)輸入。手寫(xiě)識(shí)別是最早成功利用 RNN 的研究結(jié)果，其他應(yīng)用還包括圖像分類、圖說(shuō)生成和情感分析。

8. 長(zhǎng)短期記憶（LSTM）

較舊的 RNN 可能是有損的（lossy），因?yàn)樗鼈冎荒鼙４嫔倭康呐f信息。但新的長(zhǎng)短期記憶（LSTM）和門(mén)控循環(huán)單元（gated recurrent unit, GRU）神經(jīng)網(wǎng)絡(luò)同時(shí)具有長(zhǎng)期記憶和短期記憶。換句話說(shuō)，這些較新的 RNN 具有更好的記憶控制，允許先前的值持續(xù)保存，或必要時(shí)為許多序列步驟重置，避免在步驟到步驟的傳遞時(shí)造成“梯度衰減”（gradient decay）。LSTM 和 GRU 網(wǎng)絡(luò)通過(guò)記憶體組（memory blocks）和被稱為“門(mén)”（gates）的結(jié)構(gòu)適當(dāng)?shù)?pass 或 reset 值來(lái)實(shí)現(xiàn)這種記憶控制。

9. 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理、藥物發(fā)現(xiàn)等有出色表現(xiàn)。

卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)卷積層和頂端的全連通層（對(duì)應(yīng)經(jīng)典的神經(jīng)網(wǎng)絡(luò)）組成，同時(shí)也包括關(guān)聯(lián)權(quán)重和池化層。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)在圖像和語(yǔ)音識(shí)別方面能夠給出更優(yōu)的結(jié)果。這一模型也可以使用反向傳播算法進(jìn)行訓(xùn)練。相比較其他深度、前饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)需要估計(jì)的參數(shù)更少。