Kaggle創(chuàng)始人Goldbloom：我們是這樣做數(shù)據(jù)科學(xué)競(jìng)賽的

不管是初學(xué)者還是大魔王，只要浸潤(rùn)過(guò)數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)界，那么對(duì)于Kaggle一定不陌生。各路英豪在這個(gè)平臺(tái)上實(shí)戰(zhàn)練習(xí)、膜拜大神、打怪升級(jí)，用某個(gè)媒體人的一句話，“簡(jiǎn)而言之，Kaggle 是玩數(shù)據(jù)、機(jī)器學(xué)習(xí)的開(kāi)發(fā)者們展示功力、揚(yáng)名立萬(wàn)的江湖?！?/p>

為什么有這么多的數(shù)據(jù)科學(xué)家會(huì)在Kaggle花這么多的時(shí)間？kaggle最著名的就是競(jìng)賽了，那么具體的競(jìng)賽怎么做呢？

1 月 19 日，作為Kaggle的由聯(lián)合創(chuàng)始人、首席執(zhí)行官Anthony Goldbloom在“全球新興科技峰會(huì)”中，回答了這兩個(gè)問(wèn)題。

以下Anthony Goldbloom的最新演講，文摘菌做了有刪改的整理~

Kaggle聚集了大量的機(jī)器學(xué)習(xí)的專(zhuān)家以及大數(shù)據(jù)的專(zhuān)家最，截止到目前為止，差不多是有250萬(wàn)人了，在演講的最開(kāi)始，首先介紹一下我們?cè)趉aggle的工作。然后給大家說(shuō)一下我們?cè)趉aggle學(xué)到的一些經(jīng)驗(yàn)。

具體的競(jìng)賽怎么做

在Kaggle里面，我們做好幾項(xiàng)不同的工作，分別是：競(jìng)賽、電腦的數(shù)據(jù)環(huán)境以及數(shù)據(jù)組的共享空間。

我們具體的競(jìng)賽怎么做呢？首先就是有公司會(huì)在我們的網(wǎng)站上面提出一個(gè)問(wèn)題，解決這個(gè)問(wèn)題會(huì)有獎(jiǎng)金。

有一些獎(jiǎng)金還是非常高的。例如上圖，第一個(gè)是美國(guó)國(guó)土安全部，他們希望用算法能夠幫助識(shí)別是否有人攜帶了武器，或者是攜帶其他的一些禁帶品，他們希望這個(gè)算法更加的精準(zhǔn)一些。這非常重要，因?yàn)檫^(guò)篩率如果太低，就意味著效率會(huì)變的非常的低。所以，他們是希望能夠增加效率。

第二個(gè)是Zillow，Zillow其實(shí)就是在它的網(wǎng)站上面可以輸入自己地址，然后根據(jù)房子里面有多少的臥室，多大的房間，有多少個(gè)浴室等估算房子價(jià)值。

Zillow那個(gè)競(jìng)賽，一開(kāi)始他們可能和實(shí)際的房?jī)r(jià)是差了20%，然后呢，他們慢慢的調(diào)了一下算法，越來(lái)越接近正常價(jià)格。

更好的算法能夠幫助他們找到正常的價(jià)格。為了解決這個(gè)問(wèn)題，他們?cè)敢馓峁┏^(guò)100萬(wàn)美元做獎(jiǎng)金。

其他的競(jìng)賽項(xiàng)目，獎(jiǎng)金就沒(méi)有這么多了，但是大家可以看得出來(lái)，越來(lái)越多的公司非常重視AI以及這樣的算法。

還有衛(wèi)星圖像的競(jìng)賽，還有關(guān)于森林大火或者是森林減少率的圖像分析的大賽。

所以說(shuō)，在kaggle里有各種各樣的問(wèn)題，包括不同的行業(yè)、不同的方面，這里面非常有意思的一點(diǎn)，就是所有的問(wèn)題，都可以用差不多的方法來(lái)進(jìn)行解決。當(dāng)我們有兩個(gè)數(shù)據(jù)集的時(shí)候，一個(gè)是訓(xùn)練集，一個(gè)是測(cè)試集，兩者是完全不同的。訓(xùn)練集可以看到結(jié)果，測(cè)試集看不到結(jié)果。

測(cè)試組將采用類(lèi)似的數(shù)據(jù)，這樣的測(cè)試組可以幫助我們看一下算法是不是能夠達(dá)到我們的預(yù)期值。對(duì)比不同的算法結(jié)果，我們也會(huì)把不同結(jié)果的對(duì)比進(jìn)行公開(kāi)。

對(duì)比提升算法準(zhǔn)確率

所以說(shuō)大家可以看到，大家如果能夠把自己的結(jié)果進(jìn)行對(duì)比的話，會(huì)有更多的激勵(lì)，會(huì)把自己的算法調(diào)整的更好。

之前給大家說(shuō)到的Zillow，一開(kāi)始的準(zhǔn)確率還差15%，最后準(zhǔn)確率只差了5%。是不是5%就沒(méi)有辦法突破了，或者我們需要調(diào)整一些技術(shù)來(lái)彌補(bǔ)這5%。然后公司就會(huì)推出相關(guān)的競(jìng)賽，找到到底是什么原因，有沒(méi)有辦法突破最后的界限。

現(xiàn)在很多的公司也非常看重AI，一方面幫助他們解決問(wèn)題，另一方面幫助他們找到人才。我們每半年都會(huì)有競(jìng)賽，我們和airbnb、Facebook聯(lián)合組織相關(guān)的競(jìng)賽，幫他們找到相關(guān)的人才。

所以說(shuō)，分享和學(xué)習(xí)是非常重要的，比如說(shuō)你在競(jìng)賽里面的排名是15名。通過(guò)公開(kāi)你可以知道第一名到底怎么做的以及第一名用采用的技術(shù)。有了這些，你在下次競(jìng)賽的時(shí)候就可以學(xué)習(xí)第一名所使用的技術(shù)了。

因?yàn)檫@里面有很多不同的人，這些人有可能是讀AI的博士，或者有其他的一些業(yè)余選手。但不管是什么人，他都可以在這上面展示自己。

現(xiàn)在中國(guó)已經(jīng)在社區(qū)里面規(guī)模排到第三了，第一是美國(guó)，第二大是印度。我們可以看到，有很多非常出色的競(jìng)爭(zhēng)者都來(lái)自于中國(guó)。

Kaggle競(jìng)賽解決實(shí)際問(wèn)題

為什么人們會(huì)競(jìng)賽，為什么公司會(huì)在kaggle網(wǎng)站上面放一些問(wèn)題？

首先，競(jìng)賽非常重要，雖然說(shuō)所有的網(wǎng)站都是深度學(xué)習(xí)，深度學(xué)習(xí)其實(shí)是在整個(gè)AI當(dāng)中所使用的是比較小的數(shù)據(jù)組。

但對(duì)于這些問(wèn)題來(lái)講，那些小的數(shù)據(jù)組能解決的問(wèn)題，傳統(tǒng)的工具也可以幫助我們解決。但不管怎樣，我們一開(kāi)始必須要從不同的方面進(jìn)行數(shù)據(jù)的探索，比如說(shuō)我們會(huì)用數(shù)據(jù)繪制圖標(biāo)，所以說(shuō)我們可以非常深入的了解數(shù)據(jù)。

在競(jìng)賽里面，人們第二步就是假設(shè)，數(shù)據(jù)之間的假設(shè)，例如在預(yù)測(cè)車(chē)銷(xiāo)量的競(jìng)賽中，最主要的是用算法預(yù)測(cè)哪一個(gè)車(chē)可能會(huì)賣(mài)的更好。

其中有一個(gè)非常重要的因素是顏色，我們有兩類(lèi)：常規(guī)顏色以及非常規(guī)顏色。非常規(guī)顏色的車(chē)會(huì)比較好賣(mài)，因?yàn)楦鶕?jù)這個(gè)假設(shè)買(mǎi)二手車(chē)的人可能會(huì)更喜歡一些比較另類(lèi)的車(chē)，并且更愛(ài)保養(yǎng)。

通過(guò)這樣的一種算法，我們也會(huì)進(jìn)行頭腦風(fēng)暴，可以幫助我們更好的搜集不同方式或者不同方向的數(shù)據(jù)。

另外，我們進(jìn)行調(diào)參，我們?cè)谶M(jìn)行數(shù)據(jù)的設(shè)計(jì)之后，再次把數(shù)據(jù)放在一個(gè)數(shù)據(jù)庫(kù)當(dāng)中，再進(jìn)行分類(lèi)、調(diào)參和模型融合。

其實(shí)，技術(shù)也是非常重要的，所謂的深度學(xué)習(xí)，也是競(jìng)賽者經(jīng)常使用的技術(shù)。例如在圖像的識(shí)別當(dāng)中，經(jīng)常使用的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，比如說(shuō)衛(wèi)星圖像還有醫(yī)學(xué)圖像、自動(dòng)駕駛也經(jīng)常使用。

遷移學(xué)習(xí)解決小樣本問(wèn)題

即便說(shuō)是數(shù)據(jù)庫(kù)比較小的，但是我們做的還是非常的好，就是因?yàn)槲覀冇兴^的遷移學(xué)習(xí)，也就是說(shuō)我們可以把一系列的學(xué)習(xí)成果轉(zhuǎn)移到其他更大范圍的規(guī)模上。

這個(gè)學(xué)習(xí)的結(jié)果得到了轉(zhuǎn)移之后，我們?cè)谶M(jìn)行一些調(diào)參，即便是有一些比較小的原始的數(shù)據(jù)組，比如說(shuō)對(duì)于醫(yī)學(xué)的圖像，最后這個(gè)建立的模型也還是非常準(zhǔn)確的，也可以幫助我們進(jìn)行更好的應(yīng)用。

另外，我們發(fā)現(xiàn)深度學(xué)習(xí)在其他的領(lǐng)域也做的更好，比如說(shuō)現(xiàn)在我們的神經(jīng)網(wǎng)絡(luò)做的非常得的好，比如利用卷積神經(jīng)網(wǎng)絡(luò)分析醫(yī)療圖像，我們也是讓競(jìng)賽者推斷這個(gè)圖片，去推斷這個(gè)人是不是有癲癇或者是有相關(guān)的一些病癥。

另外還有就是文本，因?yàn)槲谋居行蛄校粋€(gè)字之后又是一個(gè)字，所以說(shuō)這也可通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行分析，所以說(shuō)，我們?cè)诤芏嗟膯?wèn)題解決方面，要判斷有哪些技術(shù)是可以應(yīng)用的，哪些技術(shù)是比較擅長(zhǎng)的。

Kaggle競(jìng)賽中最重要的特征

特征一：我們發(fā)現(xiàn)我們的這些競(jìng)賽者都是非常有創(chuàng)造性的一群主體，競(jìng)賽中有一些問(wèn)題是需要對(duì)特征進(jìn)行相關(guān)的工程設(shè)計(jì)，所以說(shuō)，在我們進(jìn)行神經(jīng)學(xué)習(xí)的時(shí)候，需要一些小辦法來(lái)尋求幫助，判斷看這個(gè)方法是不是管用，這個(gè)方法是不是能夠提高效率，從而能夠幫助我們把整體的效率提升。

特征二：我們競(jìng)賽者都是非常的重視如何對(duì)自己的模型進(jìn)行測(cè)試的，大家建模之后會(huì)進(jìn)行測(cè)試，然后在進(jìn)行調(diào)參，進(jìn)行改進(jìn)......

在模型訓(xùn)練完成之后，進(jìn)入測(cè)試階段，做法是把用過(guò)的數(shù)據(jù)全部“扔掉”。然后用新的數(shù)據(jù)進(jìn)行檢驗(yàn)，也就是說(shuō)我們要保證我們的算法不單單只是在原始數(shù)據(jù)上面可以做出準(zhǔn)確的預(yù)測(cè)，而且在全新的數(shù)據(jù)面也可以做同樣的結(jié)果。所以說(shuō)，我們?cè)谶M(jìn)行模型的測(cè)試的時(shí)候，整體的過(guò)程是非常嚴(yán)苛的。

特征三：大家的編程能力非常棒。版本的控制是非常重要的，其實(shí)對(duì)版本的控制就能夠意味著我們可以知道哪些版本更高效，哪些不能夠奏效，其實(shí)在軟件的這個(gè)領(lǐng)域當(dāng)中，很多的數(shù)據(jù)科學(xué)家以及機(jī)器學(xué)習(xí)的專(zhuān)家都會(huì)使用各種辦法來(lái)進(jìn)行管理，所以說(shuō)他們就會(huì)知道自己在代碼在每個(gè)版本之間會(huì)有不同。

而且這也是非常重要的一個(gè)信息，讓他們知道到底哪個(gè)版本是能夠非常好的運(yùn)作，哪些不太好。