怎么學(xué)習(xí)數(shù)據(jù)挖掘_如何系統(tǒng)地學(xué)習(xí)數(shù)據(jù)挖掘 - 全文

　　學(xué)習(xí)數(shù)據(jù)挖掘，必須明確自己的發(fā)展方向和目標(biāo)。很多人對(duì)數(shù)據(jù)行業(yè)里發(fā)展方向并不清楚，我們先來說說數(shù)據(jù)行業(yè)的職業(yè)發(fā)展方向。

　　數(shù)據(jù)行業(yè)從廣義上講可以分為以下幾個(gè)職位：

　　一、數(shù)據(jù)挖掘工程師

　　數(shù)據(jù)挖掘工程師多是通過對(duì)海量數(shù)據(jù)進(jìn)行挖掘，尋找數(shù)據(jù)的存在模式，從而通過數(shù)據(jù)挖掘來解決具體問題。其更多是針對(duì)某一個(gè)具體的問題，是以解決具體問題為導(dǎo)向的。例如：聚類分析，通過對(duì)于會(huì)員各種人口統(tǒng)計(jì)學(xué)、行為數(shù)據(jù)進(jìn)行分析，對(duì)客戶進(jìn)行分類，更好地理解客戶，知道公司會(huì)員是到底如何？高、中、低低價(jià)值的客戶構(gòu)成，既可以后期公司的運(yùn)營(yíng)提供指導(dǎo)，提高活動(dòng)效率，可以指導(dǎo)公司的營(yíng)銷。

　　做數(shù)據(jù)挖掘工程， 必須精通數(shù)據(jù)庫。很多時(shí)候，你模型的數(shù)據(jù)預(yù)處理，可能完成在數(shù)據(jù)庫里完成，你用到的數(shù)據(jù)庫技巧更高。必須要會(huì)成熟的數(shù)據(jù)挖掘工具、數(shù)據(jù)挖掘算法，等，當(dāng)然如果你會(huì)一、二款開源軟件，并會(huì)寫一些程序代碼那是最好的，大公司都喜歡用開源的軟件。

　　二、數(shù)據(jù)分析師

　　數(shù)據(jù)分析師更注意是對(duì)數(shù)據(jù)、數(shù)據(jù)指標(biāo)的解讀，通過對(duì)數(shù)據(jù)的分析，來解決商業(yè)問題。主要有包括：（1）業(yè)務(wù)監(jiān)控：診斷當(dāng)前業(yè)務(wù)是否正常？是否存在問題？業(yè)務(wù)發(fā)展是否達(dá)到預(yù)期？如果沒有達(dá)到預(yù)期，問主要問題在哪？是什么原因引起的？（2）建立分析體系：這些數(shù)據(jù)分析師已經(jīng)對(duì)業(yè)務(wù)有一定的理解，對(duì)業(yè)務(wù)也相對(duì)比較熟悉，更多幫業(yè)務(wù)方建立一套分析體系，或者更高級(jí)是做成數(shù)據(jù)產(chǎn)品。例如：營(yíng)銷活動(dòng)。分析師會(huì)告訴業(yè)務(wù)方，在活動(dòng)前你應(yīng)該分析哪些數(shù)據(jù)，從而制定恰當(dāng)?shù)臓I(yíng)銷計(jì)劃。在營(yíng)銷過程中，你應(yīng)該看哪些數(shù)據(jù)，從而及時(shí)做出營(yíng)銷活動(dòng)調(diào)整。在營(yíng)銷活動(dòng)，應(yīng)該如何進(jìn)行活動(dòng)效果評(píng)估以及行業(yè)未來發(fā)展的趨勢(shì)分析。

　　三、商業(yè)分析師。

　　商業(yè)分析師在行業(yè)、宏觀的層面進(jìn)行業(yè)務(wù)分析，預(yù)測(cè)未來行業(yè)的發(fā)展，競(jìng)爭(zhēng)對(duì)手的業(yè)務(wù)構(gòu)成，幫助公司制定戰(zhàn)略發(fā)展計(jì)劃，并及時(shí)跟蹤、分析市場(chǎng)動(dòng)態(tài)，從而及時(shí)對(duì)戰(zhàn)略進(jìn)行不斷優(yōu)化。主要技能要求：要熟悉基本的統(tǒng)計(jì)分析知識(shí)、對(duì)于與網(wǎng)站相關(guān)的業(yè)務(wù)還可能要求掌握等網(wǎng)站分析工具等。

　　四、數(shù)據(jù)建模師

　　這個(gè)職位與數(shù)據(jù)挖掘工程師還是有本質(zhì)區(qū)別的。數(shù)據(jù)建模師，更多偏向于中、小數(shù)據(jù)量，而且其使用更多更多是統(tǒng)計(jì)學(xué)的方法，數(shù)據(jù)建模師其實(shí)很少會(huì)提到算法這個(gè)詞。但是有時(shí)候，這二個(gè)模型越來越?jīng)]有明確的分工，一般來說都會(huì)二個(gè)職位的人都會(huì)去學(xué)習(xí)對(duì)方的知識(shí)，所以這二個(gè)職位有合并的趨勢(shì)。

　　新進(jìn)入數(shù)據(jù)行業(yè)的同學(xué)，可以根據(jù)自己的背景背景選擇相應(yīng)的職位，學(xué)數(shù)據(jù)、統(tǒng)計(jì)學(xué)的朋友更多可以偏向于建模師，而計(jì)算機(jī)特別是寫編程好的同學(xué)，可以走數(shù)據(jù)挖掘工程師，也許適應(yīng)性更好，但這不是絕對(duì)的。

　　那么如何學(xué)習(xí)數(shù)據(jù)挖掘呢？

　　磨刀不誤砍柴工。在學(xué)習(xí)數(shù)據(jù)挖掘之前應(yīng)該明白幾點(diǎn)：

　　數(shù)據(jù)挖掘目前在中國的尚未流行開，猶如屠龍之技。

　　數(shù)據(jù)初期的準(zhǔn)備通常占整個(gè)數(shù)據(jù)挖掘項(xiàng)目工作量的70%左右。

　　數(shù)據(jù)挖掘本身融合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫和機(jī)器學(xué)習(xí)等學(xué)科，并不是新的技術(shù)。

　　數(shù)據(jù)挖掘技術(shù)更適合業(yè)務(wù)人員學(xué)習(xí)（相比技術(shù)人員學(xué)習(xí)業(yè)務(wù)來的更高效）

　　數(shù)據(jù)挖掘適用于傳統(tǒng)的BI（報(bào)表、OLAP等）無法支持的領(lǐng)域。

　　數(shù)據(jù)挖掘項(xiàng)目通常需要重復(fù)一些毫無技術(shù)含量的工作。

　　如果你閱讀了以上內(nèi)容覺得可以接受，那么繼續(xù)往下看。

　　學(xué)習(xí)一門技術(shù)要和行業(yè)靠攏，沒有行業(yè)背景的技術(shù)如空中樓閣。技術(shù)尤其是計(jì)算機(jī)領(lǐng)域的技術(shù)發(fā)展是寬泛且快速更替的（十年前做網(wǎng)頁設(shè)計(jì)都能成立公司），一般人沒有這個(gè)精力和時(shí)間全方位的掌握所有技術(shù)細(xì)節(jié)。但是技術(shù)在結(jié)合行業(yè)之后就能夠獨(dú)當(dāng)一面了，一方面有利于抓住用戶痛點(diǎn)和剛性需求，另一方面能夠累計(jì)行業(yè)經(jīng)驗(yàn)，使用互聯(lián)網(wǎng)思維跨界讓你更容易取得成功。不要在學(xué)習(xí)技術(shù)時(shí)想要面面俱到，這樣會(huì)失去你的核心競(jìng)爭(zhēng)力。

　　一、目前國內(nèi)的數(shù)據(jù)挖掘人員工作領(lǐng)域大致可分為三類。

　　1）數(shù)據(jù)分析師：在擁有行業(yè)數(shù)據(jù)的電商、金融、電信、咨詢等行業(yè)里做業(yè)務(wù)咨詢，商務(wù)智能，出分析報(bào)告。

　　2）數(shù)據(jù)挖掘工程師：在多媒體、電商、搜索、社交等大數(shù)據(jù)相關(guān)行業(yè)里做機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)和分析。

　　3）科學(xué)研究方向：在高校、科研單位、企業(yè)研究院等高大上科研機(jī)構(gòu)研究新算法效率改進(jìn)及未來應(yīng)用。

　　二、說說各工作領(lǐng)域需要掌握的技能。

　?。?）。數(shù)據(jù)分析師

　　需要有深厚的數(shù)理統(tǒng)計(jì)基礎(chǔ)，但是對(duì)程序開發(fā)能力不做要求。

　　需要熟練使用主流的數(shù)據(jù)挖掘（或統(tǒng)計(jì)分析）工具如Business Analytics and Business Intelligence Software（SAS）、SPSS、EXCEL等。

　　需要對(duì)與所在行業(yè)有關(guān)的一切核心數(shù)據(jù)有深入的理解，以及一定的數(shù)據(jù)敏感性培養(yǎng)。

　　經(jīng)典圖書推薦：《概率論與數(shù)理統(tǒng)計(jì)》、《統(tǒng)計(jì)學(xué)》推薦David Freedman版、《業(yè)務(wù)建模與數(shù)據(jù)挖掘》、《數(shù)據(jù)挖掘?qū)д摗?、《SAS編程與數(shù)據(jù)挖掘商業(yè)案例》、《Clementine數(shù)據(jù)挖掘方法及應(yīng)用 》、《Excel 2007 VBA參考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等。

　?。?）。數(shù)據(jù)挖掘工程師

　　需要理解主流機(jī)器學(xué)習(xí)算法的原理和應(yīng)用。

　　需要熟悉至少一門編程語言如（Python、C、C++、Java、Delphi等）。

　　需要理解數(shù)據(jù)庫原理，能夠熟練操作至少一種數(shù)據(jù)庫（Mysql、SQL、DB2、Oracle等），能夠明白MapReduce的原理操作以及熟練使用Hadoop系列工具更好。

　　經(jīng)典圖書推薦：《數(shù)據(jù)挖掘概念與技術(shù)》、《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》、《人工智能及其應(yīng)用》、《數(shù)據(jù)庫系統(tǒng)概論》、《算法導(dǎo)論》、《Web數(shù)據(jù)挖掘》、《 Python標(biāo)準(zhǔn)庫》、《thinking in Java》、《Thinking in C++》、《數(shù)據(jù)結(jié)構(gòu)》等。

　?。?）?？茖W(xué)研究方向

　　需要深入學(xué)習(xí)數(shù)據(jù)挖掘的理論基礎(chǔ)，包括關(guān)聯(lián)規(guī)則挖掘 （Apriori和FPTree）、分類算法（C4.5、KNN、Logistic Regression、SVM等） 、聚類算法 （Kmeans、Spectral Clustering）。目標(biāo)可以先吃透數(shù)據(jù)挖掘10大算法各自的使用情況和優(yōu)缺點(diǎn)。

　　相對(duì)SAS、SPSS來說R語言更適合科研人員The R Project for Statistical Computing，因?yàn)镽軟件是完全免費(fèi)的，而且開放的社區(qū)環(huán)境提供多種附加工具包支持，更適合進(jìn)行統(tǒng)計(jì)計(jì)算分析研究。雖然目前在國內(nèi)流行度不高，但是強(qiáng)烈推薦。

　　可以嘗試改進(jìn)一些主流算法使其更加快速高效，例如實(shí)現(xiàn)Hadoop平臺(tái)下的SVM云算法調(diào)用平臺(tái)--web 工程調(diào)用hadoop集群。

　　需要廣而深的閱讀世界著名會(huì)議論文跟蹤熱點(diǎn)技術(shù)。如KDD，ICML，IJCAI，Association for the Advancement of Artificial Intelligence，ICDM 等等；還有數(shù)據(jù)挖掘相關(guān)領(lǐng)域期刊：ACM Transactions on Knowledge Discovery from Data，IEEE Transactions on Knowledge and Data Engineering，Journal of Machine Learning Research Homepage，IEEE Xplore： Pattern Analysis and Machine Intelligence， IEEE Transactions on等。

　　可以嘗試參加數(shù)據(jù)挖掘比賽培養(yǎng)全方面解決實(shí)際問題的能力。如Sig KDD ，Kaggle： Go from Big Data to Big Analytics等。

　　可以嘗試為一些開源項(xiàng)目貢獻(xiàn)自己的代碼，比如Apache Mahout： Scalable machine learning and data mining ，myrrix等（具體可以在SourceForge或GitHub.上發(fā)現(xiàn)更多好玩的項(xiàng)目）。

　　經(jīng)典圖書推薦：《機(jī)器學(xué)習(xí)》 《模式分類》《統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)》《統(tǒng)計(jì)學(xué)習(xí)方法》《數(shù)據(jù)挖掘?qū)嵱脵C(jī)器學(xué)習(xí)技術(shù)》《R語言實(shí)踐》，英文素質(zhì)是科研人才必備的《Machine Learning： A Probabilistic Perspective》《Scaling up Machine Learning ： Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner ： A Case Study Approach》《Python for Data Analysis》等。

　　三、以下是通信行業(yè)數(shù)據(jù)挖掘工程師的工作感受。

　　真正從數(shù)據(jù)挖掘項(xiàng)目實(shí)踐的角度講，溝通能力對(duì)挖掘的興趣愛好是最重要的，有了愛好才可以愿意鉆研，有了不錯(cuò)的溝通能力，才可以正確理解業(yè)務(wù)問題，才能正確把業(yè)務(wù)問題轉(zhuǎn)化成挖掘問題，才可以在相關(guān)不同專業(yè)人才之間清楚表達(dá)你的意圖和想法，取得他們的理解和支持。所以我認(rèn)為溝通能力和興趣愛好是個(gè)人的數(shù)據(jù)挖掘的核心競(jìng)爭(zhēng)力，是很難學(xué)到的；而其他的相關(guān)專業(yè)知識(shí)誰都可以學(xué)，算不上個(gè)人發(fā)展的核心競(jìng)爭(zhēng)力。

　　說到這里可能很多數(shù)據(jù)倉庫專家、程序員、統(tǒng)計(jì)師等等都要扔磚頭了，對(duì)不起，我沒有別的意思，你們的專業(yè)對(duì)于數(shù)據(jù)挖掘都很重要，大家本來就是一個(gè)整體的，但是作為單獨(dú)一個(gè)個(gè)體的人來說，精力有限，時(shí)間有限，不可能這些領(lǐng)域都能掌握，在這種情況下，選擇最重要的核心，我想應(yīng)該是數(shù)據(jù)挖掘技能和相關(guān)業(yè)務(wù)能力吧（從另外的一個(gè)極端的例子，我們可以看， 比如一個(gè)迷你型的挖掘項(xiàng)目，一個(gè)懂得市場(chǎng)營(yíng)銷和數(shù)據(jù)挖掘技能的人應(yīng)該可以勝任。這其中他雖然不懂?dāng)?shù)據(jù)倉庫，但是簡(jiǎn)單的Excel就足以勝任高打6萬個(gè)樣本的數(shù)據(jù)處理；他雖然不懂專業(yè)的展示展現(xiàn)技能，但是只要他自己看的懂就行了，這就無需什么展示展現(xiàn)；前面說過，統(tǒng)計(jì)技能是應(yīng)該掌握的，這對(duì)一個(gè)人的迷你項(xiàng)目很重要；他雖然不懂編程，但是專業(yè)挖掘工具和挖掘技能足夠讓他操練的；這樣在迷你項(xiàng)目中，一個(gè)懂得挖掘技能和市場(chǎng)營(yíng)銷業(yè)務(wù)能力的人就可以圓滿完成了，甚至在一個(gè)數(shù)據(jù)源中根據(jù)業(yè)務(wù)需求可以無窮無盡的挖掘不同的項(xiàng)目思路，試問就是這個(gè)迷你項(xiàng)目，單純的一個(gè)數(shù)據(jù)倉庫專家、單純的一個(gè)程序員、單純的一個(gè)展示展現(xiàn)技師、甚至單純的一個(gè)挖掘技術(shù)專家，都是無法勝任的）。這從另一個(gè)方面也說明了為什么溝通能力的重要，這些個(gè)完全不同的專業(yè)領(lǐng)域，想要有效有機(jī)地整合在一起進(jìn)行數(shù)據(jù)挖掘項(xiàng)目實(shí)踐，你說沒有好的溝通能力行嗎？

　　數(shù)據(jù)挖掘能力只能在項(xiàng)目實(shí)踐的熔爐中提升、升華，所以跟著項(xiàng)目學(xué)挖掘是最有效的捷徑。國外學(xué)習(xí)挖掘的人都是一開始跟著老板做項(xiàng)目，剛開始不懂不要緊，越不懂越知道應(yīng)該學(xué)什么，才能學(xué)得越快越有效果。我不知道國內(nèi)的數(shù)據(jù)挖掘?qū)W生是怎樣學(xué)的，但是從網(wǎng)上的一些論壇看，很多都是紙上談兵，這樣很浪費(fèi)時(shí)間，很沒有效率。

　　另外現(xiàn)在國內(nèi)關(guān)于數(shù)據(jù)挖掘的概念都很混亂，很多BI只是局限在報(bào)表的展示和簡(jiǎn)單的統(tǒng)計(jì)分析，卻也號(hào)稱是數(shù)據(jù)挖掘；另一方面，國內(nèi)真正規(guī)?；瘜?shí)施數(shù)據(jù)挖掘的行業(yè)是屈指可數(shù)（銀行、保險(xiǎn)公司、移動(dòng)通訊），其他行業(yè)的應(yīng)用就只能算是小規(guī)模的，比如很多大學(xué)都有些相關(guān)的挖掘課題、挖掘項(xiàng)目，但都比較分散，而且都是處于摸索階段，但是我相信數(shù)據(jù)挖掘在中國一定是好的前景，因?yàn)檫@是歷史發(fā)展的必然。

　　講到移動(dòng)方面的實(shí)踐案例，如果你是來自移動(dòng)的話，你一定知道國內(nèi)有家叫華院分析的公司（申明，我跟這家公司沒有任何關(guān)系，我只是站在數(shù)據(jù)挖掘者的角度分析過中國大多數(shù)的號(hào)稱數(shù)據(jù)挖掘服務(wù)公司，覺得華院還不錯(cuò)，比很多徒有虛名的大公司來得更實(shí)際），他們的業(yè)務(wù)現(xiàn)在已經(jīng)覆蓋了絕大多數(shù)中國省級(jí)移動(dòng)公司的分析挖掘項(xiàng)目，你上網(wǎng)搜索一下應(yīng)該可以找到一些詳細(xì)的資料吧。我對(duì)華院分析印象最深的一點(diǎn)就是2002年這個(gè)公司白手起家，自己不懂不要緊，一邊自學(xué)一邊開始拓展客戶，到現(xiàn)在在中國的移動(dòng)通訊市場(chǎng)全面開花，的確佩服佩服呀。他們最開始都是用EXCEL處理數(shù)據(jù)，用肉眼比較選擇比較不同的模型，你可以想象這其中的艱難吧。

　　至于移動(dòng)通訊的具體的數(shù)據(jù)挖掘的應(yīng)用，那太多了，比如不同話費(fèi)套餐的制訂、客戶流失模型、不同服務(wù)交叉銷售模型、不同客戶對(duì)優(yōu)惠的彈性分析、客戶群體細(xì)分模型、不同客戶生命周期模型、渠道選擇模型、惡意欺詐預(yù)警模型，太多了，記住，從客戶的需求出發(fā)，從實(shí)踐中的問題出發(fā)，移動(dòng)中可以發(fā)現(xiàn)太多的挖掘項(xiàng)目。最后告訴你一個(gè)秘密，當(dāng)你數(shù)據(jù)挖掘能力提升到一定程度時(shí)，你會(huì)發(fā)現(xiàn)無論什么行業(yè)，其實(shí)數(shù)據(jù)挖掘的應(yīng)用有大部分是重合的相似的，這樣你會(huì)覺得更輕松。

　　四、成為一名數(shù)據(jù)科學(xué)家需要掌握的技能圖。