數(shù)據(jù)科學(xué)的工具數(shù)不勝數(shù)——你應(yīng)該選擇哪一個(gè)？

概述

數(shù)據(jù)科學(xué)的工具數(shù)不勝數(shù)——你應(yīng)該選擇哪一個(gè)？

這里列出了超過(guò)20種的數(shù)據(jù)科學(xué)工具，滿足數(shù)據(jù)科學(xué)生命周期不同階段的需求。

引言

執(zhí)行數(shù)據(jù)科學(xué)任務(wù)的最佳工具有哪些？作為數(shù)據(jù)科學(xué)新手，你應(yīng)該選擇哪些工具？ 我相信在你的數(shù)據(jù)科學(xué)之旅的某些時(shí)刻中你已經(jīng)問(wèn)過(guò)（或搜索過(guò)）這些問(wèn)題。這些問(wèn)題是合理的！雖然在這個(gè)行業(yè)中并不缺乏數(shù)據(jù)科學(xué)工具，但是為你的數(shù)據(jù)科學(xué)旅程和生涯做出一個(gè)選擇可能是一個(gè)棘手的決定。

我們得承認(rèn)——數(shù)據(jù)科學(xué)的范圍龐雜，每一個(gè)領(lǐng)域要求處理數(shù)據(jù)的方式各有不同，這讓許多分析家/數(shù)據(jù)庫(kù)科學(xué)家陷入困惑。而如果你是一位商業(yè)領(lǐng)袖，你將要選擇你和你的公司所使用的工具，這很關(guān)鍵，因?yàn)檫@些工具會(huì)產(chǎn)生長(zhǎng)期的影響。 同樣地，問(wèn)題是你應(yīng)該選擇哪種數(shù)據(jù)科學(xué)工具呢？ 在本文中，我將通過(guò)羅列出數(shù)據(jù)科學(xué)領(lǐng)域廣泛使用的工具并細(xì)分它們的用途和優(yōu)勢(shì)，來(lái)幫你解決這些困惑。所以，讓我們開(kāi)始吧！

目錄

深入大數(shù)據(jù)– 處理大數(shù)據(jù)的工具

體量

種類(lèi)

速度

數(shù)據(jù)科學(xué)的工具

報(bào)告和商業(yè)智能

預(yù)測(cè)建模和機(jī)器學(xué)習(xí)

人工智能

大數(shù)據(jù)的數(shù)據(jù)科學(xué)工具

為了真正了解大數(shù)據(jù)背后的深刻意義，我們需要了解給大數(shù)據(jù)下定義所的基本原理。他們被稱(chēng)為大數(shù)據(jù)的3V而廣為人知。

體量

種類(lèi)

速度

處理大數(shù)據(jù)體量的工具

顧名思義，體量是指數(shù)據(jù)的規(guī)模和數(shù)量。要了解我在說(shuō)的數(shù)據(jù)規(guī)模，你需要知道，世界上超過(guò)90％的數(shù)據(jù)是在最近兩年內(nèi)創(chuàng)建的！ 十年來(lái)，隨著數(shù)據(jù)量的增加，該技術(shù)也變得越來(lái)越好。計(jì)算和存儲(chǔ)成本的降低使收集和存儲(chǔ)大量數(shù)據(jù)變得更加容易。 數(shù)據(jù)體量定義了它是否符合大數(shù)據(jù)的條件。 當(dāng)我們的數(shù)據(jù)范圍在1Gb到10Gb左右時(shí)，傳統(tǒng)的數(shù)據(jù)科學(xué)工具就可以很好地工作。那么這些工具有哪些呢？

Microsoft Excel–Excel是處理少量數(shù)據(jù)的最簡(jiǎn)單，最受歡迎的工具。它支持的最大行數(shù)只剛剛超過(guò)一百萬(wàn)，一張表一次最多只能處理16,380列。當(dāng)數(shù)據(jù)量很大時(shí)，這些根本不夠用。

Microsoft Excel：

https://www.analyticsvidhya.com/blog/category/excel/?utm_source=blog&utm_medium=22-tools-data-science-machine-learning

Microsoft Access –它是Microsoft流行的用于數(shù)據(jù)存儲(chǔ)的工具。使用此工具可以平穩(wěn)順暢地處理高達(dá)2Gb的較小數(shù)據(jù)庫(kù)，但超過(guò)這個(gè)數(shù)字，Access會(huì)開(kāi)始崩潰。

SQL – SQL是自1970年代以來(lái)最流行的數(shù)據(jù)管理系統(tǒng)之一。幾十年來(lái)，它一直是主要的數(shù)據(jù)庫(kù)解決方案。SQL仍然很流行，但有一個(gè)缺點(diǎn)——隨著數(shù)據(jù)庫(kù)的不斷增長(zhǎng)，很難對(duì)其進(jìn)行擴(kuò)展。

到目前為止我們已經(jīng)介紹了一些基本工具?，F(xiàn)在該放大招了！如果你的數(shù)據(jù)大于10Gb，甚至超過(guò)1Tb+，那么需要使用我在下面提到的工具：

Hadoop –它是一個(gè)開(kāi)源的分布式框架，用于管理大數(shù)據(jù)的數(shù)據(jù)處理和存儲(chǔ)。當(dāng)你從零開(kāi)始構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目時(shí)，很可能會(huì)使用此工具。

Hive –它是建立在Hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)。Hive提供了一個(gè)類(lèi)似于SQL的接口來(lái)查詢存儲(chǔ)在與Hadoop集成的各種數(shù)據(jù)庫(kù)和文件系統(tǒng)中的數(shù)據(jù)。

處理大數(shù)據(jù)種類(lèi)的工具

數(shù)據(jù)種類(lèi)是指存在的不同類(lèi)型的數(shù)據(jù)。數(shù)據(jù)類(lèi)型可以是以下之一：結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。 讓我們看一下不同數(shù)據(jù)類(lèi)型的示例：

花一點(diǎn)時(shí)間去觀察這些示例，并且將它們與你的真實(shí)數(shù)據(jù)關(guān)聯(lián)起來(lái)。 你可能在結(jié)構(gòu)化數(shù)據(jù)中觀察到，這種類(lèi)型的數(shù)據(jù)有固定的順序和結(jié)構(gòu)，而非結(jié)構(gòu)化數(shù)據(jù)相反，這些示例并不遵循任何趨勢(shì)或者模式。例如，顧客反饋在長(zhǎng)度、情感和其他方面有所不同。另外，這類(lèi)數(shù)據(jù)巨大并且種類(lèi)繁多。 處理這類(lèi)數(shù)據(jù)可能非常具有挑戰(zhàn)性，那么市場(chǎng)上用于管理和處理這些不同數(shù)據(jù)類(lèi)型的數(shù)據(jù)科學(xué)工具有哪些呢？ 兩個(gè)最常見(jiàn)的數(shù)據(jù)庫(kù)是SQL和NoSQL。在NoSQL出現(xiàn)前，SQL多年來(lái)一直是市場(chǎng)主導(dǎo)者。

SQL的一些例子是Oracle，MySQL，SQLite，而NoSQL由諸如MongoDB，Cassandra等流行的數(shù)據(jù)庫(kù)組成。這些NoSQL數(shù)據(jù)庫(kù)由于具有擴(kuò)展和處理動(dòng)態(tài)數(shù)據(jù)的能力而被廣泛地應(yīng)用。

處理大數(shù)據(jù)速度的工具

第三個(gè)，也是最后一個(gè)V代表了速度。這是捕獲數(shù)據(jù)時(shí)的速度，包括實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)。我們?cè)谶@里將主要討論實(shí)時(shí)數(shù)據(jù)。 我們周?chē)性S多捕獲和處理實(shí)時(shí)數(shù)據(jù)的示例。最復(fù)雜的是自動(dòng)駕駛汽車(chē)收集的傳感器數(shù)據(jù)。想象一下，在自動(dòng)駕駛汽車(chē)中，汽車(chē)必須同時(shí)動(dòng)態(tài)地收集和處理有關(guān)車(chē)道、與其他車(chē)輛的距離等數(shù)據(jù)！ 其他正在收集的實(shí)時(shí)數(shù)據(jù)的例子包括：

閉路電視

股票交易

信用卡交易欺詐檢測(cè)

網(wǎng)絡(luò)數(shù)據(jù)——社交媒體（Facebook、Twitter等）

“你知道嗎？ 在紐約證券交易所的每個(gè)交易時(shí)段中，都會(huì)生成超過(guò)1TB的數(shù)據(jù)！” 現(xiàn)在，讓我們來(lái)看看處理實(shí)時(shí)數(shù)據(jù)的一些常用數(shù)據(jù)科學(xué)工具：

Apache Kafka – Kafka是Apache的開(kāi)源工具。它用于創(chuàng)建實(shí)時(shí)數(shù)據(jù)管道。Kafka的一些優(yōu)點(diǎn)在于——它具有容錯(cuò)性、速度很快，并且被大量機(jī)構(gòu)投入生產(chǎn)使用。

Apache Storm – Apache的該工具幾乎可用于所有編程語(yǔ)言。它每秒可處理多達(dá)100萬(wàn)個(gè)元組，并具有高度的可擴(kuò)展性。對(duì)于高數(shù)據(jù)速率來(lái)說(shuō)，這是個(gè)好工具。

Amazon Kinesis – 亞馬遜提供的此工具類(lèi)似于Kafka，但需要付費(fèi)。然而，它提供的是開(kāi)箱即用的解決方案，這使其成為組織機(jī)構(gòu)的強(qiáng)勢(shì)的備選方案。

Apache Flink – Flink是Apache另一種可用于實(shí)時(shí)數(shù)據(jù)的工具。Flink的優(yōu)點(diǎn)在于它的高性能、容錯(cuò)能力和有效的內(nèi)存管理。

現(xiàn)在，我們已經(jīng)掌握了通常用于處理大數(shù)據(jù)的各種工具，接下來(lái)將介紹使用高級(jí)機(jī)器學(xué)習(xí)技術(shù)和算法來(lái)利用數(shù)據(jù)的部分。

廣泛使用的數(shù)據(jù)科學(xué)工具

如果你要建立一個(gè)全新的數(shù)據(jù)科學(xué)項(xiàng)目，那么腦海中會(huì)浮現(xiàn)很多問(wèn)題，這與你的水平無(wú)關(guān)——無(wú)論你是數(shù)據(jù)科學(xué)家，數(shù)據(jù)分析師，項(xiàng)目經(jīng)理還是高級(jí)數(shù)據(jù)科學(xué)主管，都是如此。 你將面對(duì)的一些問(wèn)題是： ?在數(shù)據(jù)科學(xué)的不同領(lǐng)域中應(yīng)該使用哪些工具？ ?應(yīng)該購(gòu)買(mǎi)這些工具的許可證還是選擇開(kāi)源工具？等等。 在本節(jié)中，我們將根據(jù)不同領(lǐng)域討論行業(yè)中使用的一些受歡迎的數(shù)據(jù)科學(xué)工具。 數(shù)據(jù)科學(xué)本身就是一個(gè)廣義術(shù)語(yǔ)，它由各種不同的領(lǐng)域組成，每個(gè)領(lǐng)域都有它自己的業(yè)務(wù)重要性和復(fù)雜性，正如下圖所示：

數(shù)據(jù)科學(xué)的范圍包含了各種領(lǐng)域，上圖表示了這些領(lǐng)域的相對(duì)復(fù)雜性和它們提供的業(yè)務(wù)價(jià)值。讓我們討論一下以上頻譜中顯示的每一個(gè)點(diǎn)。

報(bào)告和商業(yè)智能

讓我們從這個(gè)范圍的底端開(kāi)始。報(bào)告和商業(yè)智能使一個(gè)機(jī)構(gòu)能夠識(shí)別出數(shù)據(jù)的趨勢(shì)和模式，從而制定關(guān)鍵的戰(zhàn)略決策。這種分析的類(lèi)型包括MIS、數(shù)據(jù)分析和儀表板。 這些領(lǐng)域中常用的工具有：

Excel – 它提供了多種選擇，包括了數(shù)據(jù)透視表和圖表，使你可以快速分析數(shù)據(jù)。簡(jiǎn)而言之，它是數(shù)據(jù)科學(xué)/分析工具中的“瑞士軍刀”。

QlikView – 您只需單擊幾下即可合并，搜索，可視化和分析所有數(shù)據(jù)資源。這是一種易于學(xué)習(xí)的直觀的工具，因此非常受歡迎。

Tableau – 它是當(dāng)今市場(chǎng)上最受歡迎的數(shù)據(jù)可視化工具之一。它能夠處理大量數(shù)據(jù)，甚至提供類(lèi)似于Excel的計(jì)算功能和參數(shù)。Tableau因其整潔的儀表板和故事界面而倍受贊譽(yù).

https://courses.analyticsvidhya.com/courses/tableau-2-0?utm_source=blog&utm_medium=22-tools-data-science-machine-learning

Microstrategy – 它是另一個(gè)BI工具，支持儀表板、自動(dòng)分發(fā)和其他關(guān)鍵數(shù)據(jù)分析任務(wù)。

PowerBI – 它是商業(yè)智能（BI）領(lǐng)域中的Microsoft產(chǎn)品。PowerBI旨在與Microsoft技術(shù)進(jìn)行集成。因此，如果你的組織有Sharepoint或SQL數(shù)據(jù)庫(kù)用戶，那么你和你的團(tuán)隊(duì)將會(huì)喜歡這個(gè)工具。

Google Analytics – 想知道Google Analytics如何進(jìn)入此名單的嗎？嗯……數(shù)字營(yíng)銷(xiāo)在業(yè)務(wù)轉(zhuǎn)型中起著重要作用，沒(méi)有比它更好的工具可以用來(lái)分析你的數(shù)字化工作。

預(yù)測(cè)分析和機(jī)器學(xué)習(xí)工具

順著前面那個(gè)圖再往上走，其復(fù)雜性和商業(yè)價(jià)值也變高了！這是大多數(shù)數(shù)據(jù)科學(xué)家賴(lài)以生存的領(lǐng)域。你將要解決的問(wèn)題類(lèi)型是統(tǒng)計(jì)建模，預(yù)測(cè)，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。 讓我們了解一些該領(lǐng)域的常用工具：

Python – 由于其易用性，靈活性和開(kāi)源特性，Python是當(dāng)今行業(yè)數(shù)據(jù)科學(xué)中最主要的語(yǔ)言之一。它已經(jīng)在ML社區(qū)中迅速普及并被廣泛接受。

https://courses.analyticsvidhya.com/courses/introduction-to-data-science?utm_source=blog&utm_medium=22-tools-data-science-machine-learning

R – 它是數(shù)據(jù)科學(xué)中另一種非常常用且受人尊敬的語(yǔ)言。R有一個(gè)蓬勃發(fā)展且被極大支持的社區(qū)，附帶了許多軟件包和庫(kù)，支持大多數(shù)的機(jī)器學(xué)習(xí)任務(wù)。

Apache Spark – Spark由加州大學(xué)伯克利分校于2010年開(kāi)源，此后已成為最大的大數(shù)據(jù)社區(qū)之一。它被稱(chēng)為大數(shù)據(jù)分析的“瑞士軍刀”，因?yàn)樗哂卸喾N優(yōu)勢(shì)，例如靈活性、速度、計(jì)算能力等。

Julia – 它是一種即將到來(lái)的語(yǔ)言，被捧為Python的繼承者。目前它仍處于起步階段，觀察其在未來(lái)的表現(xiàn)將會(huì)是一件有趣的事。

Jupyter Notebooks – 這些筆記本廣泛用于Python編程。盡管它主要用于Python，但它也支持其他語(yǔ)言，例如Julia，R等。

到目前為止，我們討論的工具都是真正的開(kāi)源工具。你無(wú)需支付費(fèi)用或購(gòu)買(mǎi)任何額外的許可證。它們擁有活躍的社區(qū)，可以定期維護(hù)和發(fā)布更新。 現(xiàn)在，我們將看一些在某些特定行業(yè)中通用的收費(fèi)工具：

SAS – 這是一個(gè)非常受歡迎且功能強(qiáng)大的工具。在銀行和金融部門(mén)中被普遍使用。它的使用在美國(guó)運(yùn)通，摩根大通，西格瑪，蘇格蘭皇家銀行等私人組織中占有很高的份額。

SPSS – SPSS是“社會(huì)科學(xué)統(tǒng)計(jì)軟件包”的縮寫(xiě)，在2009年被IBM收購(gòu)。它提供高級(jí)統(tǒng)計(jì)分析、龐大的機(jī)器學(xué)習(xí)算法庫(kù)、文本分析等。

Matlab – Matlab在組織機(jī)構(gòu)的領(lǐng)域里確實(shí)被低估了，但在學(xué)術(shù)界和研究部門(mén)中得到了廣泛的使用。最近相較于Python，R和SAS，Matlab已經(jīng)陣地失守，但是大學(xué)（尤其在美國(guó)）仍在使用Matlab教授許多本科課程。

深度學(xué)習(xí)的通用框架

深度學(xué)習(xí)需要大量的計(jì)算資源，并且需要特殊的框架才能有效地利用這些資源。因此，你很可能需要GPU或TPU。 讓我們看看本節(jié)中用于深度學(xué)習(xí)的一些框架。

TensorFlow – 它很容易成為當(dāng)今行業(yè)中使用最廣泛的工具。Google可能與此有關(guān)！

PyTorch – 這種超級(jí)靈活的深度學(xué)習(xí)框架正在成為T(mén)ensorFlow的強(qiáng)勢(shì)競(jìng)爭(zhēng)對(duì)手。PyTorch最近受到一些關(guān)注，它的開(kāi)發(fā)者是Facebook的研究人員。

Keras和Caffe是廣泛用于構(gòu)建深度學(xué)習(xí)應(yīng)用程序的其他框架。

人工智能工具

AutoML的時(shí)代就在這里。如果還沒(méi)有聽(tīng)說(shuō)過(guò)這些工具，那么這是一個(gè)自我學(xué)習(xí)的好機(jī)會(huì)！作為數(shù)據(jù)科學(xué)家，你很可能會(huì)在不久的將來(lái)與他們合作。

列舉一些最受歡迎的AutoML工具，包括AutoKeras，Google Cloud AutoML，IBM Watson，DataRobot，H20的無(wú)人駕駛AI和亞馬遜的Lex。AutoML有望成為AI / ML社區(qū)中的下一個(gè)大事件。它旨在消除或減少技術(shù)性，以便商業(yè)領(lǐng)導(dǎo)者可以使用它來(lái)制定戰(zhàn)略決策。 這些工具將推動(dòng)整個(gè)數(shù)據(jù)分析流程自動(dòng)化！

尾注

我們已經(jīng)討論了數(shù)據(jù)收集引擎以及完成檢索、處理和存儲(chǔ)，這一整個(gè)流水線所需的工具。數(shù)據(jù)科學(xué)的眾多領(lǐng)域中每個(gè)領(lǐng)域都有自己的一套工具和框架。 選擇數(shù)據(jù)科學(xué)工具通常取決于你的個(gè)人選擇、你的領(lǐng)域或項(xiàng)目，當(dāng)然也取決于你的機(jī)構(gòu)。 在評(píng)論中讓我知道你喜歡使用的最喜歡的數(shù)據(jù)科學(xué)工具或框架！