機(jī)器學(xué)習(xí)的發(fā)展歷程及啟示,你知道嗎？

近年來(lái)，人工智能的強(qiáng)勢(shì)崛起，特別是剛剛過(guò)去的AlphaGo和韓國(guó)九段棋手李世石的人機(jī)大戰(zhàn)，讓我們領(lǐng)略到了人工智能技術(shù)的巨大潛力。數(shù)據(jù)是載體，智能是目標(biāo)，而機(jī)器學(xué)習(xí)是從數(shù)據(jù)通往智能的技術(shù)途徑。因此，機(jī)器學(xué)習(xí)是數(shù)據(jù)科學(xué)的核心，是現(xiàn)代人工智能的本質(zhì)。

通俗地說(shuō)，機(jī)器學(xué)習(xí)就是從數(shù)據(jù)中挖掘出有價(jià)值的信息。數(shù)據(jù)本身是無(wú)意識(shí)的，它不能自動(dòng)呈現(xiàn)出有用的信息。怎樣才能找出有價(jià)值的東西呢？第一步要給數(shù)據(jù)一個(gè)抽象的表示；接著基于表示進(jìn)行建模；然后估計(jì)模型的參數(shù)，也就是計(jì)算；為了應(yīng)對(duì)大規(guī)模的數(shù)據(jù)所帶來(lái)的問(wèn)題，我們還需要設(shè)計(jì)一些高效的實(shí)現(xiàn)手段，包括硬件層面和算法層面。統(tǒng)計(jì)是建模的主要工具和途徑，而模型求解大多被定義為一個(gè)優(yōu)化問(wèn)題，特別是，頻率派方法其實(shí)就是一個(gè)優(yōu)化問(wèn)題。而貝葉斯模型的計(jì)算則往往牽涉蒙特卡洛（Monte Carlo）隨機(jī)抽樣方法。因此，機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)的交叉學(xué)科。

借鑒計(jì)算機(jī)視覺(jué)理論創(chuàng)始人馬爾（Marr）的關(guān)于計(jì)算機(jī)視覺(jué)的三級(jí)論定義，我把機(jī)器學(xué)習(xí)也分為三個(gè)層次：初級(jí)、中級(jí)和高級(jí)。初級(jí)階段是數(shù)據(jù)獲取以及特征的提取。中級(jí)階段是數(shù)據(jù)處理與分析，它又包含三個(gè)方面：首先是應(yīng)用問(wèn)題導(dǎo)向，簡(jiǎn)單地說(shuō)，它主要應(yīng)用已有的模型和方法解決一些實(shí)際問(wèn)題，我們可以理解為數(shù)據(jù)挖掘；其次，根據(jù)應(yīng)用問(wèn)題的需要，提出和發(fā)展模型、方法和算法以及研究支撐它們的數(shù)學(xué)原理或理論基礎(chǔ)等，這是機(jī)器學(xué)習(xí)學(xué)科的核心內(nèi)容；第三，通過(guò)推理達(dá)到某種智能。高級(jí)階段是智能與認(rèn)知，即實(shí)現(xiàn)智能的目標(biāo)。數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)本質(zhì)上是一樣的，其區(qū)別是數(shù)據(jù)挖掘更接近于數(shù)據(jù)端，而機(jī)器學(xué)習(xí)則更接近于智能端。

統(tǒng)計(jì)與計(jì)算

今年剛被選為美國(guó)科學(xué)院院士的卡內(nèi)基梅隆大學(xué)統(tǒng)計(jì)系教授沃塞曼（Larry Wasserman）寫(xiě)了一本名字非常霸道的書(shū)：《統(tǒng)計(jì)學(xué)完全教程》（All of Statistics）。這本書(shū)的引言部分有一個(gè)關(guān)于統(tǒng)計(jì)學(xué)與機(jī)器學(xué)習(xí)非常有趣的描述。沃塞曼認(rèn)為，原來(lái)統(tǒng)計(jì)是在統(tǒng)計(jì)系，計(jì)算機(jī)是在計(jì)算機(jī)系，這兩者是不相來(lái)往的，而且互相都不認(rèn)同對(duì)方的價(jià)值。計(jì)算機(jī)學(xué)家認(rèn)為那些統(tǒng)計(jì)理論沒(méi)有用，不解決問(wèn)題，而統(tǒng)計(jì)學(xué)家則認(rèn)為計(jì)算機(jī)學(xué)家只是在“重新發(fā)明輪子”，沒(méi)有新意。然而，他認(rèn)為現(xiàn)在情況改變了，統(tǒng)計(jì)學(xué)家認(rèn)識(shí)到計(jì)算機(jī)學(xué)家正在做出的貢獻(xiàn)，而計(jì)算機(jī)學(xué)家也認(rèn)識(shí)到統(tǒng)計(jì)的理論和方法論的普遍性意義。所以，沃塞曼寫(xiě)了這本書(shū)，可以說(shuō)這是一本為統(tǒng)計(jì)學(xué)者寫(xiě)的計(jì)算機(jī)領(lǐng)域的書(shū)，為計(jì)算機(jī)學(xué)者寫(xiě)的統(tǒng)計(jì)領(lǐng)域的書(shū)。

現(xiàn)在大家達(dá)成了一個(gè)共識(shí)：如果你在用一個(gè)機(jī)器學(xué)習(xí)方法，而不懂其基礎(chǔ)原理，這是一件非常可怕的事情。正是由于這個(gè)原因，目前學(xué)術(shù)界對(duì)深度學(xué)習(xí)還是心存疑慮的。盡管深度學(xué)習(xí)已經(jīng)在實(shí)際應(yīng)用中展示出其強(qiáng)大的能力，但其中的原理目前大家還不是太清楚。

計(jì)算機(jī)學(xué)家通常具有強(qiáng)大的計(jì)算能力和解決問(wèn)題的直覺(jué)，而統(tǒng)計(jì)學(xué)家擅長(zhǎng)于理論分析和問(wèn)題建模，因此，兩者具有很好的互補(bǔ)性。Boosting、支持向量機(jī)（SVM）、集成學(xué)習(xí)和稀疏學(xué)習(xí)是機(jī)器學(xué)習(xí)界也是統(tǒng)計(jì)界在近十年或者是近二十年來(lái)最為活躍的方向，這些成果是統(tǒng)計(jì)界和計(jì)算機(jī)科學(xué)界共同努力成就的。例如，數(shù)學(xué)家瓦普尼克（Vapnik） 等人早在20世紀(jì)60年代就提出了支持向量機(jī)的理論，但直到計(jì)算機(jī)界于90年代末發(fā)明了非常有效的求解算法，并隨著后續(xù)大量?jī)?yōu)秀實(shí)現(xiàn)代碼的開(kāi)源，支持向量機(jī)現(xiàn)在成為了分類(lèi)算法的一個(gè)基準(zhǔn)模型。再比如，核主成分分析（Kernel Principal Component Analysis， KPCA）是由計(jì)算機(jī)學(xué)家提出的一個(gè)非線(xiàn)性降維方法，其實(shí)它等價(jià)于經(jīng)典多維尺度分析（Multi-Dimensional Scaling， MDS）。而后者在統(tǒng)計(jì)界是很早就存在的，但如果沒(méi)有計(jì)算機(jī)界重新發(fā)現(xiàn)，有些好的東西可能就被埋沒(méi)了。

世界上公認(rèn)最好的兩個(gè)統(tǒng)計(jì)系來(lái)自加州大學(xué)伯克利分校和斯坦福大學(xué)。加州大學(xué)伯克利分校是美國(guó)統(tǒng)計(jì)學(xué)的發(fā)源地之一，可以說(shuō)是當(dāng)今統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的中心，其機(jī)器學(xué)習(xí)領(lǐng)域的教授通常同時(shí)在計(jì)算機(jī)系和統(tǒng)計(jì)系都有正式職位。已故的布萊曼（Leo Breiman）教授是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的主要奠基人，他是眾多統(tǒng)計(jì)學(xué)習(xí)方法的主要貢獻(xiàn)者，比如Bagging、分類(lèi)回歸樹(shù)（CART）、隨機(jī)森林以及非負(fù)garrote稀疏模型等。布萊曼是喬丹（Michael Jordan）教授的伯樂(lè)，當(dāng)初是他力主把喬丹從麻省理工學(xué)院引進(jìn)到伯克利分校的?？梢哉f(shuō)，伯克利分校的統(tǒng)計(jì)系成就了喬丹，反過(guò)來(lái)他也為伯克利分校的統(tǒng)計(jì)學(xué)發(fā)展創(chuàng)造了新的活力，為機(jī)器學(xué)習(xí)領(lǐng)域培養(yǎng)了一大批優(yōu)秀的學(xué)者，建立了無(wú)可代替的功勛。

斯坦福大學(xué)統(tǒng)計(jì)系的一個(gè)主要方向就是統(tǒng)計(jì)學(xué)習(xí)，比如《統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)》（Elements of statistical learning）一書(shū)就是統(tǒng)計(jì)系幾位著名教授撰寫(xiě)的。斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的人工智能方向一直在世界占主導(dǎo)地位，特別是在不確定推理、概率圖模型、概率機(jī)器人等領(lǐng)域成就斐然。他們的網(wǎng)絡(luò)公開(kāi)課“機(jī)器學(xué)習(xí)”、“概率圖模型”以及“人工智能”等讓全世界學(xué)者受益。有意思的是，斯坦福大學(xué)和伯克利分校具有令人羨慕的合作競(jìng)爭(zhēng)關(guān)系。一年一度的聯(lián)合統(tǒng)計(jì)學(xué)日是兩校統(tǒng)計(jì)系的交流平臺(tái)。伯克利分校教授布萊曼和斯坦福大學(xué)教授弗萊德曼（Jerome Friedman）合作建立了許多重要統(tǒng)計(jì)學(xué)習(xí)模型。此外，兩校教授羅素（Stuart Russell）和諾維格（Peter Norvig）合作的《人工智能：一種現(xiàn)代的方法》（Artificial Intelligence： A Modern Approach）一書(shū)是人工智能的集大成。

卡內(nèi)基梅隆大學(xué)是一個(gè)非常獨(dú)特的學(xué)校，它并不是美國(guó)傳統(tǒng)的常春藤大學(xué)?？梢哉f(shuō)，它是以計(jì)算機(jī)科學(xué)為立校之本，是世界第一個(gè)建立機(jī)器學(xué)習(xí)系的學(xué)校。米歇爾（Tom Mitchell）教授是機(jī)器學(xué)習(xí)的早期建立者之一和守護(hù)者，他一直為該校本科生講授“機(jī)器學(xué)習(xí)”課程。這個(gè)學(xué)校的統(tǒng)計(jì)學(xué)同樣也是一流，是貝葉斯統(tǒng)計(jì)學(xué)的世界研究中心。

在機(jī)器學(xué)習(xí)領(lǐng)域，多倫多大學(xué)有著舉足輕重的地位，它的機(jī)器學(xué)習(xí)研究組云集了一批世界級(jí)的學(xué)者，在《科學(xué)》（Science）和《自然》（Nature）發(fā)表多篇開(kāi)創(chuàng)性的論文，實(shí)屬罕見(jiàn)。辛頓（Geoffrey Hinton）教授是偉大的思想家，更是實(shí)踐者。他是神經(jīng)網(wǎng)絡(luò)的建立者之一，是誤差反向傳播（BP）算法和深度學(xué)習(xí)的主要貢獻(xiàn)者。正是由于他的不懈努力，神經(jīng)網(wǎng)絡(luò)迎來(lái)了大爆發(fā)。尼爾（Radford Neal）教授是辛頓的學(xué)生，他在貝葉斯統(tǒng)計(jì)領(lǐng)域，特別是在蒙特卡洛馬爾科夫鏈模擬方法（MCMC）方面做出了一系列的重要工作，還開(kāi)源了許多貝葉斯統(tǒng)計(jì)方法程序包，并一直致力于優(yōu)化R語(yǔ)言。