數(shù)據(jù)科學(xué)家需要知道的5個(gè)基本統(tǒng)計(jì)概念，如何才能最有效地應(yīng)用它們

對(duì)于數(shù)據(jù)科學(xué)的藝術(shù)，統(tǒng)計(jì)學(xué)可以說是一個(gè)強(qiáng)大的工具。從高層次的角度來看，統(tǒng)計(jì)是利用數(shù)學(xué)對(duì)數(shù)據(jù)進(jìn)行技術(shù)分析。一個(gè)基本的可視化，如條形圖，可以給你提供一些高級(jí)的信息，但是通過統(tǒng)計(jì)學(xué)，我們可以以一種更加以信息驅(qū)動(dòng)和更有針對(duì)性的方式來操作數(shù)據(jù)。所用到的數(shù)學(xué)方法能幫助我們對(duì)數(shù)據(jù)形成具體的結(jié)論，而不是去靠猜測(cè)。

通過使用統(tǒng)計(jì)學(xué)，我們可以更深入、更細(xì)致地了解我們的數(shù)據(jù)到底是如何構(gòu)造的，并基于這種結(jié)構(gòu)，我們?nèi)绾巫罴训貞?yīng)用其他數(shù)據(jù)科學(xué)技術(shù)來獲取更多的信息。現(xiàn)在，我們來看看數(shù)據(jù)科學(xué)家們需要知道的5個(gè)基本統(tǒng)計(jì)概念，以及如何才能最有效地應(yīng)用它們!

統(tǒng)計(jì)特征

統(tǒng)計(jì)特征可能是數(shù)據(jù)科學(xué)中最常用的統(tǒng)計(jì)概念。這通常是你在研究數(shù)據(jù)集時(shí)應(yīng)用的第一種統(tǒng)計(jì)技術(shù)，包括偏差、方差、平均值、中位數(shù)、百分位數(shù)等。這一切都相當(dāng)容易理解并在代碼中實(shí)現(xiàn)！看看下面的圖表。

一個(gè)簡單的箱型圖

中間的那條線是數(shù)據(jù)的中位數(shù)。由于中位數(shù)對(duì)離群值的魯棒性更強(qiáng)，因此中位數(shù)比平均值用得更多。第一個(gè)四分位數(shù)本質(zhì)上是第25百分位數(shù)，表示數(shù)據(jù)中25%的點(diǎn)低于這個(gè)值。第三個(gè)四分位數(shù)是第75百分位數(shù)，表示數(shù)據(jù)中75%的點(diǎn)都低于這個(gè)值。最小值和最大值表示數(shù)據(jù)范圍的上、下端。

一個(gè)箱型圖完美地闡述了我們能用基本統(tǒng)計(jì)特征做什么：

當(dāng)框圖很短時(shí)，它意味著許多數(shù)據(jù)點(diǎn)是相似的，因?yàn)樵谛》秶鷥?nèi)有許多值

當(dāng)框圖很長時(shí)，它意味著許多數(shù)據(jù)點(diǎn)是完全不同的，因?yàn)檫@些值分布在一個(gè)較廣的范圍內(nèi)

如果中值更接近底部，那么我們知道大多數(shù)數(shù)據(jù)的值更低。如果中值更接近頂部，那么我們知道大多數(shù)數(shù)據(jù)都有更高的值?；旧?，如果中值線不在方框中間，那么它就表示數(shù)據(jù)有偏斜。

是否有長尾？這意味著你的數(shù)據(jù)有很高的標(biāo)準(zhǔn)差和方差，說明這些值是分散的，高度不同。如果你在盒子的一邊有長尾而在另一邊沒有，那么你的數(shù)據(jù)可能只在一個(gè)方向上有很大的變化。

所有這些信息都來自一些簡單的統(tǒng)計(jì)特征，并且很容易計(jì)算！當(dāng)你需要對(duì)數(shù)據(jù)進(jìn)行快速而有效的查看時(shí)，請(qǐng)嘗試這些方法。

概率分布

我們可以將概率定義為某個(gè)事件發(fā)生的概率百分比。在數(shù)據(jù)科學(xué)中，通常在0到1之間進(jìn)行量化，0表示我們確信不會(huì)發(fā)生，1表示我們確信它會(huì)發(fā)生。概率分布是一個(gè)函數(shù)，表示實(shí)驗(yàn)中所有可能值的概率。請(qǐng)看下面的圖表。

均勻分布是我們?cè)谶@里展示的3個(gè)分布中最基本的。它只有一個(gè)值，這個(gè)值只出現(xiàn)在某個(gè)范圍內(nèi)，而超出這個(gè)范圍的任何值都是0。這在很大程度上是一種“開關(guān)”分布。我們也可以把它看作是一個(gè)有兩個(gè)類別的分類變量：0或其他值。你的分類變量可能有多個(gè)非0的值，但我們?nèi)匀豢梢园阉胂蟪啥鄠€(gè)均勻分布的分段函數(shù)。

正態(tài)分布，通常被稱為高斯分布，由均值和標(biāo)準(zhǔn)差定義。均值在空間上平移分布，標(biāo)準(zhǔn)差控制分散程度。與其他分布的重要區(qū)別（比如泊松分布）是，其所有方向上的標(biāo)準(zhǔn)差都是一樣的。因此，對(duì)于高斯分布，我們知道數(shù)據(jù)集的平均值以及數(shù)據(jù)的發(fā)散程度（例如，它是廣泛分布的還是高度集中在少數(shù)幾個(gè)值）。

泊松分布與正態(tài)分布相似，但增加了偏斜因子。在偏態(tài)值較低的情況下，泊松分布會(huì)像正態(tài)分布一樣向各個(gè)方向均勻發(fā)散。但當(dāng)偏度值較大時(shí)，我們的數(shù)據(jù)在不同方向的發(fā)散會(huì)不同；在一個(gè)方向，它將非常分散，在另一個(gè)方向，它將高度集中。

雖然有很多的分布可以深入研究，但這3個(gè)已經(jīng)給我們帶來了很多價(jià)值。我們可以用均勻分布快速地看到和解釋分類變量。如果我們看到一個(gè)高斯分布便知道有很多算法在默認(rèn)情況下都能很好地處理高斯分布，所以我們應(yīng)該這樣做。有了泊松分布，我們會(huì)發(fā)現(xiàn)必須特別小心選擇一種對(duì)空間發(fā)散的變化具有魯棒性的算法。

降維

降維這個(gè)術(shù)語很容易理解。我們有一個(gè)數(shù)據(jù)集，希望減少它的維數(shù)。在數(shù)據(jù)科學(xué)中，它是特征變量的數(shù)量。請(qǐng)看下面的圖表。

降維

立方體代表我們的數(shù)據(jù)集，它有三個(gè)維度，總共有1000個(gè)點(diǎn)。雖然1000個(gè)點(diǎn)的計(jì)算在今天很容易處理，但是對(duì)于更大的范圍我們?nèi)匀粫?huì)遇到問題。然而，僅僅從二維的角度來看我們的數(shù)據(jù)，例如從立方體的一邊，我們可以看到，從這個(gè)角度劃分所有的顏色是很容易的。通過降維，我們可以將三維數(shù)據(jù)投射到二維平面上。這有效地將我們需要計(jì)算的點(diǎn)數(shù)減少了100，大大節(jié)省了計(jì)算量！

另一種降維方法是特征剪枝。有了特征剪枝，我們可以刪除對(duì)分析不重要的任何特征。例如，在研究數(shù)據(jù)集之后，我們可能會(huì)發(fā)現(xiàn)，在10個(gè)特性中，有7個(gè)特性與輸出的相關(guān)性很高，而其他3個(gè)特性的相關(guān)性很低。那么，這3個(gè)低相關(guān)特性可能不值得計(jì)算，不過我們只能根據(jù)分析在不影響輸出的情況下將它們刪除。

當(dāng)前用于降維的最常見的技術(shù)是PCA，它本質(zhì)上是創(chuàng)建了特征的向量表示，顯示它們對(duì)輸出有多重要，比如他們的相關(guān)性。PCA可以用于上面討論的兩種降維方式。在此教程中可以了解到更多信息。

過采樣與欠采樣

過采樣和欠采樣是用于分類問題的技術(shù)。有時(shí)，我們的分類數(shù)據(jù)集可能會(huì)嚴(yán)重傾斜到一邊。例如，類1有2000個(gè)樣本，但類2只有200個(gè)。這將對(duì)很多我們常用于建模并預(yù)測(cè)的機(jī)器學(xué)習(xí)技術(shù)帶來影響！但過采樣和欠采樣可以與之對(duì)抗。請(qǐng)看下面的圖表。

欠采樣與過采樣

在上圖的左邊和右邊，我們的藍(lán)色類比橙色類擁有更多的樣本。在這種情況下，有兩個(gè)預(yù)處理選項(xiàng)可以幫助我們的機(jī)器學(xué)習(xí)模型的訓(xùn)練。

欠采樣意味著我們將只從多數(shù)類中選擇一部分?jǐn)?shù)據(jù)，只使用與少數(shù)類樣本數(shù)相同的數(shù)量。這個(gè)方案應(yīng)當(dāng)保證采樣后類別的概率分布與之前相同。操作很容易，我們只是通過取更少的樣本來平衡數(shù)據(jù)集!

過采樣意味著我們將創(chuàng)建少數(shù)類的副本，以便擁有與多數(shù)類相同的樣本。創(chuàng)建副本時(shí)應(yīng)當(dāng)保證少數(shù)類的分布不變。這個(gè)方案中，我們只是把我們的數(shù)據(jù)集變得更均衡，并沒有得到更多的數(shù)據(jù)！

貝葉斯統(tǒng)計(jì)

為了充分理解為什么我們要使用貝葉斯統(tǒng)計(jì)，需要首先了解頻率統(tǒng)計(jì)不足的地方。頻率統(tǒng)計(jì)是大多數(shù)人聽到“概率”這個(gè)詞時(shí)會(huì)想到的統(tǒng)計(jì)方法。它應(yīng)用數(shù)學(xué)來分析某些事件發(fā)生的概率，具體來說，我們使用的數(shù)據(jù)都是先驗(yàn)的。

我們看一個(gè)例子。假設(shè)給你一個(gè)骰子然后問你擲出6的概率是多少，大多數(shù)人會(huì)說1 / 6。確實(shí)，如果我們做頻率分析，會(huì)通過一些數(shù)據(jù)比如某人擲骰子10000次，然后計(jì)算每個(gè)數(shù)字出現(xiàn)的頻率；大概是1 / 6!

但如果有人告訴你，給你的那個(gè)骰子是被改造過的并且落地后總會(huì)是6的那面朝上呢？頻率分析只考慮了先驗(yàn)的數(shù)據(jù)，并沒有考慮骰子被改造過這個(gè)因素。

貝葉斯統(tǒng)計(jì)確實(shí)考慮到了這個(gè)問題，可以用貝葉定理來說明這一點(diǎn):

貝葉斯定律

方程中的概率P(H)基本上就是頻率分析；表示根據(jù)之前的先驗(yàn)數(shù)據(jù)，事件發(fā)生的概率是多少。方程中的P(E|H)被稱為似然，本質(zhì)上是根據(jù)頻率分析得到的信息的條件下，我們得到的結(jié)論是正確的概率。例如，滾動(dòng)骰子10000次，而前1000次全部得到6，你會(huì)開始肯定，骰子是被改造過的！P(E)是實(shí)際結(jié)論成立的概率。如果我告訴你，骰子是改造過的，你能相信我并說它是真的嗎？

如果我們的頻率分析很好那么就會(huì)有一定的權(quán)重說明：是的，我們對(duì)6的猜測(cè)是正確的。與此同時(shí)，我們考慮了改造骰子的事實(shí)，它是否為真，同時(shí)基于它自己的先驗(yàn)和頻率分析。從方程的布局可以看出，貝葉斯統(tǒng)計(jì)考慮了所有的因素。當(dāng)你覺得之前的數(shù)據(jù)不能很好地代表未來的數(shù)據(jù)和結(jié)果時(shí)，就使用它。