電子發(fā)燒友App
機(jī)器學(xué)習(xí)的發(fā)展歷程
對(duì)于20世紀(jì)90年代以前的發(fā)展歷程，我認(rèn)識(shí)不夠，了解不深，覺(jué)得當(dāng)時(shí)機(jī)器學(xué)習(xí)處于發(fā)展的相對(duì)平淡期。而20世紀(jì)90年代中期到21世紀(jì)00年代中期是機(jī)器學(xué)習(xí)發(fā)展的黃金時(shí)期，主要標(biāo)志是學(xué)術(shù)界涌現(xiàn)出一批重要成果，比如，基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)、隨機(jī)森林和Boosting等集成分類方法，概率圖模型，基于再生核理論的非線性數(shù)據(jù)分析與處理方法，非參數(shù)貝葉斯方法，基于正則化理論的稀疏學(xué)習(xí)模型及應(yīng)用等等。這些成果奠定了統(tǒng)計(jì)學(xué)習(xí)的理論基礎(chǔ)和框架。
然而，機(jī)器學(xué)習(xí)在21世紀(jì)00年代末也經(jīng)歷了一個(gè)短暫的徘徊期。那時(shí)我在加州大學(xué)伯克利分校的博士后工作結(jié)束，正面臨找工作，導(dǎo)師喬丹教授和我進(jìn)行了多次交流，他一方面認(rèn)為機(jī)器學(xué)習(xí)正處于困難期，工作職位已趨于飽滿，另一方面他向我一再?gòu)?qiáng)調(diào)，把統(tǒng)計(jì)學(xué)引入到機(jī)器學(xué)習(xí)的思路是對(duì)的，因?yàn)橐越y(tǒng)計(jì)學(xué)為基礎(chǔ)的機(jī)器學(xué)習(xí)作為一個(gè)學(xué)科其地位已經(jīng)被奠定。主要問(wèn)題是機(jī)器學(xué)習(xí)是一門應(yīng)用學(xué)科，它需要在工業(yè)界發(fā)揮作用，能為他們解決實(shí)際問(wèn)題。幸運(yùn)的是，這個(gè)時(shí)期很快就過(guò)去了。
現(xiàn)在我們可以理直氣壯地說(shuō)機(jī)器學(xué)習(xí)已經(jīng)成為計(jì)算機(jī)科學(xué)和人工智能的主流學(xué)科。這主要體現(xiàn)在下面三個(gè)標(biāo)志性的事件。
第一，2010年2月，加州大學(xué)伯克利分校教授喬丹和卡內(nèi)基梅隆大學(xué)教授米歇爾同時(shí)當(dāng)選美國(guó)工程院院士，同年5月份，喬丹教授又當(dāng)選為美國(guó)科學(xué)院院士。隨后幾年，概率圖模型專家科勒（Daphne Koller）當(dāng)選為美國(guó)工程院院士，理論計(jì)算機(jī)學(xué)家和機(jī)器學(xué)習(xí)專家、Boosting的主要建立者之一夏皮爾（Robert Schapire）當(dāng)選為美國(guó)工程院院士和科學(xué)院院士。期間，斯坦福大學(xué)的統(tǒng)計(jì)學(xué)家弗萊德曼和提布施瓦尼（Robert Tibshirani）、伯克利分校的華裔統(tǒng)計(jì)學(xué)家郁彬，以及卡內(nèi)基梅隆大學(xué)統(tǒng)計(jì)學(xué)家沃塞曼也先后被選為美國(guó)科學(xué)院院士。這是一個(gè)非常有趣的現(xiàn)象，因?yàn)檫@些學(xué)者都在機(jī)器學(xué)習(xí)領(lǐng)域做出了非常重要的貢獻(xiàn)，比如弗萊德曼的工作包括分類回歸樹(shù)、多元自適應(yīng)回歸（Multivariate Adaptive Regression Splines， MARS）和梯度推進(jìn)機(jī)（Gradient Boosting Machines， GBM）等經(jīng)典機(jī)器學(xué)習(xí)算法，而提布施瓦尼是最小絕對(duì)收縮和選擇算子（Least Absolute Shrinkage and Selection Operator， LASSO）的提出者。此外，優(yōu)化算法專家鮑德（Stephen Boyd）當(dāng)選美國(guó)工程院院士，他和范登貝格（Lieven Vandenberghe）的合著《凸優(yōu)化》（Convex Optimization）可以說(shuō)風(fēng)靡機(jī)器學(xué)習(xí)界。今年，機(jī)器學(xué)習(xí)專家、深度學(xué)習(xí)的領(lǐng)袖、多倫多大學(xué)教授辛頓以及該校統(tǒng)計(jì)學(xué)習(xí)專家瑞德（Nancy Reid）分別被選為美國(guó)工程院和科學(xué)院的外籍院士。
喬丹教授在當(dāng)時(shí)我祝賀他當(dāng)選為院士時(shí)的回信中說(shuō)，如果以他當(dāng)選院士這種方式來(lái)看待機(jī)器學(xué)習(xí)獲得學(xué)術(shù)界的認(rèn)同會(huì)更有意義。因此，我理解在美國(guó)一個(gè)學(xué)科能否被接納為主流學(xué)科的一個(gè)重要標(biāo)志是，其代表科學(xué)家能否被選為院士。我們知道米歇爾是機(jī)器學(xué)習(xí)早期建立者之一，而喬丹是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的主要奠基者之一。
第二，2011年的圖靈獎(jiǎng)授予了加州大學(xué)洛杉磯分校教授珀?duì)枺↗udea Pearl），他主要的研究領(lǐng)域是概率圖模型和因果推理，這是機(jī)器學(xué)習(xí)的基礎(chǔ)問(wèn)題。圖靈獎(jiǎng)通常頒給純理論計(jì)算機(jī)學(xué)者，或者早期建立計(jì)算機(jī)架構(gòu)或框架的學(xué)者。而把圖靈獎(jiǎng)授予珀?duì)柦淌诰哂蟹较驑?biāo)的意義。此外，去年《科學(xué)》和《自然》雜志連續(xù)發(fā)表了4篇關(guān)于機(jī)器學(xué)習(xí)的綜述論文。而且，近幾年在這兩個(gè)雜志上發(fā)表的計(jì)算機(jī)學(xué)科論文幾乎都來(lái)自機(jī)器學(xué)習(xí)領(lǐng)域。
第三，機(jī)器學(xué)習(xí)切實(shí)能被用來(lái)幫助工業(yè)界解決問(wèn)題。特別是當(dāng)下的熱點(diǎn)，比如說(shuō)深度學(xué)習(xí)、AlphaGo、無(wú)人駕駛汽車、人工智能助理等對(duì)工業(yè)界的巨大影響。當(dāng)今IT的發(fā)展已從傳統(tǒng)的微軟模式轉(zhuǎn)變到谷歌模式。傳統(tǒng)的微軟模式可以理解為制造業(yè)，而谷歌模式則是服務(wù)業(yè)。谷歌搜索完全是免費(fèi)的，服務(wù)社會(huì)，他們的搜索做得越來(lái)越極致，同時(shí)創(chuàng)造的財(cái)富也越來(lái)越豐厚。
財(cái)富蘊(yùn)藏在數(shù)據(jù)中，而挖掘財(cái)富的核心技術(shù)則是機(jī)器學(xué)習(xí)，因此谷歌認(rèn)為自己是一家機(jī)器學(xué)習(xí)公司。深度學(xué)習(xí)作為當(dāng)今最有活力的機(jī)器學(xué)習(xí)方向，在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解、語(yǔ)音識(shí)別、智力游戲等領(lǐng)域的顛覆性成就，造就了一批新興的創(chuàng)業(yè)公司。工業(yè)界對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的人才有大量的需求。不僅僅需要代碼能力強(qiáng)的工程師，也需要有數(shù)學(xué)建模和解決問(wèn)題的科學(xué)家。
最近有一本尚未出版的書(shū)《數(shù)據(jù)科學(xué)基礎(chǔ)》（Foundation of Data Science），作者之一霍普克洛夫特（John Hopcroft）是圖靈獎(jiǎng)得主。在這本書(shū)前沿部分，提到了計(jì)算機(jī)科學(xué)的發(fā)展可以分為三個(gè)階段：早期、中期和當(dāng)今。早期就是讓計(jì)算機(jī)可以運(yùn)行起來(lái)，其重點(diǎn)在于開(kāi)發(fā)程序語(yǔ)言、編譯技術(shù)、操作系統(tǒng)，以及研究支撐它們的數(shù)學(xué)理論。中期是讓計(jì)算機(jī)變得有用，變得高效，重點(diǎn)在于研究算法和數(shù)據(jù)結(jié)構(gòu)。第三個(gè)階段是讓計(jì)算機(jī)具有更廣泛的應(yīng)用，發(fā)展重點(diǎn)從離散類數(shù)學(xué)轉(zhuǎn)到概率和統(tǒng)計(jì)。我曾經(jīng)和霍普克洛夫特交談過(guò)幾次，他認(rèn)為計(jì)算機(jī)科學(xué)發(fā)展到今天，機(jī)器學(xué)習(xí)是核心。他正在讀機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面的書(shū)，并計(jì)劃為本科生講授機(jī)器學(xué)習(xí)課程。
現(xiàn)在計(jì)算機(jī)界戲稱機(jī)器學(xué)習(xí)為“全能學(xué)科”，它無(wú)所不在。除了有其自身的學(xué)科體系外，機(jī)器學(xué)習(xí)還有兩個(gè)重要的輻射功能。一是為應(yīng)用學(xué)科提供解決問(wèn)題的方法與途徑。對(duì)于一個(gè)應(yīng)用學(xué)科來(lái)說(shuō)，機(jī)器學(xué)習(xí)的目的就是把一些難懂的數(shù)學(xué)翻譯成讓工程師能夠?qū)懗龀绦虻膫未a。二是為一些傳統(tǒng)學(xué)科，比如統(tǒng)計(jì)、理論計(jì)算機(jī)科學(xué)、運(yùn)籌優(yōu)化等找到新的研究問(wèn)題。因此，大多數(shù)世界著名大學(xué)的計(jì)算機(jī)學(xué)科把機(jī)器學(xué)習(xí)或人工智能列為核心方向，擴(kuò)大機(jī)器學(xué)習(xí)領(lǐng)域的教師規(guī)模，而且至少要保持兩三個(gè)機(jī)器學(xué)習(xí)研究方向具有一流競(jìng)爭(zhēng)力。有些計(jì)算機(jī)專業(yè)有1/3甚至1/2的研究生選修機(jī)器學(xué)習(xí)或人工智能。
機(jī)器學(xué)習(xí)現(xiàn)在已成為統(tǒng)計(jì)學(xué)的一個(gè)主流方向，許多著名大學(xué)的統(tǒng)計(jì)系紛紛從機(jī)器學(xué)習(xí)領(lǐng)域招聘教授，比如斯坦福大學(xué)統(tǒng)計(jì)系新進(jìn)的兩位助理教授來(lái)自機(jī)器學(xué)習(xí)專業(yè)。計(jì)算在統(tǒng)計(jì)領(lǐng)域已經(jīng)變得越來(lái)越重要，傳統(tǒng)多元統(tǒng)計(jì)分析是以矩陣分解為計(jì)算工具，現(xiàn)代高維統(tǒng)計(jì)則是以優(yōu)化為計(jì)算工具。
機(jī)器學(xué)習(xí)發(fā)展的啟示
機(jī)器學(xué)習(xí)的發(fā)展歷程告訴我們：發(fā)展一個(gè)學(xué)科需要一個(gè)務(wù)實(shí)的態(tài)度。時(shí)髦的概念和名字無(wú)疑對(duì)學(xué)科的普及有一定的推動(dòng)作用，但學(xué)科的根本還是所研究的問(wèn)題、方法、技術(shù)和支撐的基礎(chǔ)等，以及為社會(huì)產(chǎn)生的價(jià)值。
“機(jī)器學(xué)習(xí)”是個(gè)很酷的名字，簡(jiǎn)單地按照字面理解，它的目的是讓機(jī)器能像人一樣具有學(xué)習(xí)能力。但在其十年的黃金發(fā)展期，機(jī)器學(xué)習(xí)界并沒(méi)有過(guò)多地炒作“智能”或者“認(rèn)知”，而是關(guān)注于引入統(tǒng)計(jì)學(xué)等來(lái)建立學(xué)科的理論基礎(chǔ)，面向數(shù)據(jù)分析與處理，以無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)為兩大主要的研究問(wèn)題，提出和開(kāi)發(fā)了一系列模型、方法和計(jì)算算法等，切實(shí)地解決了工業(yè)界所面臨的一些實(shí)際問(wèn)題。近幾年，因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升，一批面向機(jī)器學(xué)習(xí)的底層架構(gòu)先后被開(kāi)發(fā)出來(lái)。神經(jīng)網(wǎng)絡(luò)其實(shí)在20世紀(jì)80年代末或90年代初就被廣泛研究，但后來(lái)沉寂了。近幾年，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)強(qiáng)勢(shì)崛起，給工業(yè)界帶來(lái)了深刻的變革和機(jī)遇。深度學(xué)習(xí)的成功不是源自腦科學(xué)或認(rèn)知科學(xué)的進(jìn)展，而是因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升。
機(jī)器學(xué)習(xí)的發(fā)展詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡(jiǎn)單地彼此知道幾個(gè)名詞或概念就可以的，是需要真正的融會(huì)貫通。統(tǒng)計(jì)學(xué)家弗萊德曼早期從事物理學(xué)研究，他是優(yōu)化算法大師，而且他的編程能力同樣令人贊嘆。喬丹教授既是一流的計(jì)算機(jī)學(xué)家，又是一流的統(tǒng)計(jì)學(xué)家，而他的博士專業(yè)為心理學(xué)，他能夠承擔(dān)起建立統(tǒng)計(jì)機(jī)器學(xué)習(xí)的重任。辛頓教授是世界最著名的認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界聲名鵲起，但他依然始終活躍在一線，自己寫(xiě)代碼。他提出的許多想法簡(jiǎn)單、可行又非常有效，被稱為偉大的思想家。正是由于他的睿智和身體力行，深度學(xué)習(xí)技術(shù)迎來(lái)了革命性的突破。這些學(xué)者非常務(wù)實(shí)，從不提那些空洞無(wú)物的概念和框架。他們遵循自下而上的方式，從具體問(wèn)題、模型、方法、算法等著手，一步一步實(shí)現(xiàn)系統(tǒng)化。
可以說(shuō)機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界（或競(jìng)賽界）等合力造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動(dòng)，創(chuàng)業(yè)界是活力和未來(lái)。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界的職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門人才；而大項(xiàng)目、大工程更應(yīng)該由市場(chǎng)來(lái)驅(qū)動(dòng)，由工業(yè)界來(lái)實(shí)施和完成。
工商網(wǎng)監(jiān)
評(píng)論