什么是非均勻數(shù)據(jù)重采樣？哪種非均勻數(shù)據(jù)重采樣方法更適合你？

在數(shù)據(jù)分析和機(jī)器學(xué)習(xí)領(lǐng)域，我們常常需要處理非均勻數(shù)據(jù)。非均勻數(shù)據(jù)是指具有不平衡分布或樣本數(shù)量不均等的數(shù)據(jù)集。為了準(zhǔn)確建模和預(yù)測(cè)，我們需要對(duì)這些非均勻數(shù)據(jù)進(jìn)行重采樣。本文將詳細(xì)介紹什么是非均勻數(shù)據(jù)重采樣以及如何應(yīng)用不同的方法來(lái)解決這一問(wèn)題。

一、什么是非均勻數(shù)據(jù)重采樣？

非均勻數(shù)據(jù)重采樣是一種數(shù)據(jù)處理技術(shù)，用于解決數(shù)據(jù)集中存在的類(lèi)別不平衡或樣本數(shù)量不均等的問(wèn)題。在非均勻數(shù)據(jù)中，某些類(lèi)別的樣本數(shù)量很少，而其他類(lèi)別的樣本數(shù)量很多。這種不平衡會(huì)導(dǎo)致建模和預(yù)測(cè)過(guò)程中的偏差，影響結(jié)果的準(zhǔn)確性。

非均勻數(shù)據(jù)重采樣的目標(biāo)是通過(guò)增加少數(shù)類(lèi)別的樣本數(shù)量或減少多數(shù)類(lèi)別的樣本數(shù)量，使得數(shù)據(jù)集更加平衡。通過(guò)重采樣，我們可以在保持?jǐn)?shù)據(jù)分布特征的前提下，增加較少樣本的可用性，從而提高模型的性能。

二、常見(jiàn)的非均勻數(shù)據(jù)重采樣方法和Python示例

（1）過(guò)采樣（Oversampling）：過(guò)采樣方法通過(guò)增加少數(shù)類(lèi)別的樣本數(shù)量來(lái)平衡數(shù)據(jù)集。其中一種常見(jiàn)的方法是復(fù)制少數(shù)類(lèi)別的樣本，使其在數(shù)據(jù)集中出現(xiàn)多次。然而，簡(jiǎn)單復(fù)制樣本可能會(huì)導(dǎo)致過(guò)擬合問(wèn)題。因此，一些改進(jìn)的過(guò)采樣方法被提出，如SMOTE（合成少數(shù)類(lèi)過(guò)采樣技術(shù)）和ADASYN（自適應(yīng)合成）等，它們根據(jù)少數(shù)類(lèi)別樣本之間的距離關(guān)系合成新的樣本。

使用imbalanced-learn庫(kù)中的RandomOverSampler方法進(jìn)行過(guò)采樣：

from imblearn.over_sampling import RandomOverSampler 
X_resampled, y_resampled = RandomOverSampler().fit_resample(X, y)

使用imbalanced-learn庫(kù)中的SMOTE方法進(jìn)行合成少數(shù)類(lèi)過(guò)采樣：

from imblearn.over_sampling import SMOTE 
X_resampled, y_resampled = SMOTE().fit_resample(X, y)

完整示例：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from imblearn.over_sampling import RandomOverSampler
from sklearn.metrics import classification_report


# 加載數(shù)據(jù)集
data = pd.read_csv('your_dataset.csv')


# 分割特征和目標(biāo)變量
X = data.drop('target', axis=1)
y = data['target']


# 將數(shù)據(jù)集拆分為訓(xùn)練集和測(cè)試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)


# 方法1.創(chuàng)建RandomOverSampler對(duì)象
ros = RandomOverSampler(random_state=42)
# 對(duì)訓(xùn)練集進(jìn)行過(guò)采樣
X_train_resampled, y_train_resampled = ros.fit_resample(X_train, y_train)


# 方法2創(chuàng)建SMOTE對(duì)象
# smote = SMOTE(random_state=42)
# 對(duì)訓(xùn)練集進(jìn)行過(guò)采樣
# X_train_resampled, y_train_resampled = smote.fit_resample(X_train, y_train)


# 使用過(guò)采樣后的數(shù)據(jù)訓(xùn)練模型
model = LogisticRegression()
model.fit(X_train_resampled, y_train_resampled)


# 在測(cè)試集上進(jìn)行預(yù)測(cè)
y_pred = model.predict(X_test)


# 輸出分類(lèi)報(bào)告
print(classification_report(y_test, y_pred))

（2）欠采樣（Undersampling）：欠采樣方法通過(guò)減少多數(shù)類(lèi)別的樣本數(shù)量來(lái)平衡數(shù)據(jù)集。最簡(jiǎn)單的欠采樣方法是隨機(jī)地刪除多數(shù)類(lèi)別的樣本。然而，這種方法可能會(huì)丟失一些重要的信息。因此，一些更高級(jí)的欠采樣方法被提出，如NearMiss和ClusterCentroids等，它們通過(guò)保留具有代表性的多數(shù)類(lèi)別樣本來(lái)減少樣本數(shù)量。

使用imbalanced-learn庫(kù)中的RandomUnderSampler方法進(jìn)行欠采樣：

from imblearn.under_sampling import RandomUnderSampler 
X_resampled, y_resampled = RandomUnderSampler().fit_resample(X, y)

使用imbalanced-learn庫(kù)中的NearMiss方法進(jìn)行近鄰欠采樣：

from imblearn.under_sampling import NearMiss 
X_resampled, y_resampled = NearMiss().fit_resample(X, y)

（3）混合采樣（Combination Sampling）：混合采樣方法是過(guò)采樣和欠采樣的結(jié)合。它同時(shí)對(duì)多數(shù)和少數(shù)類(lèi)別進(jìn)行處理，以達(dá)到數(shù)據(jù)集平衡的效果。其中一種常見(jiàn)的混合

混采樣方法是SMOTEENN（SMOTE + Edited Nearest Neighbors）方法。它首先使用SMOTE方法對(duì)少數(shù)類(lèi)別進(jìn)行過(guò)采樣，生成一些合成樣本。然后，使用Edited Nearest Neighbors（ENN）方法對(duì)多數(shù)類(lèi)別進(jìn)行欠采樣，刪除一些樣本。通過(guò)這種方式，混合采樣方法能夠克服簡(jiǎn)單過(guò)采樣和欠采樣方法的一些問(wèn)題，同時(shí)平衡數(shù)據(jù)集。

使用imbalanced-learn庫(kù)中的SMOTEENN方法進(jìn)行SMOTE + Edited Nearest Neighbors采樣：

from imblearn.combine import SMOTEENN 
X_resampled, y_resampled = SMOTEENN().fit_resample(X, y)

（4）加權(quán)重采樣（Weighted Resampling）：加權(quán)重采樣方法通過(guò)為不同類(lèi)別的樣本賦予不同的權(quán)重來(lái)平衡數(shù)據(jù)集。它可以用于訓(xùn)練模型時(shí)調(diào)整樣本的重要性。常見(jiàn)的加權(quán)重采樣方法包括基于頻率的加權(quán)和基于錯(cuò)誤率的加權(quán)?；陬l率的加權(quán)根據(jù)每個(gè)類(lèi)別的樣本數(shù)量設(shè)置權(quán)重，使得樣本數(shù)量少的類(lèi)別具有更高的權(quán)重。基于錯(cuò)誤率的加權(quán)根據(jù)每個(gè)類(lèi)別的錯(cuò)誤率來(lái)調(diào)整權(quán)重，使得錯(cuò)誤率高的類(lèi)別具有更高的權(quán)重。

import torch
from torch.utils.data import DataLoader, WeightedRandomSampler


# 假設(shè)有一個(gè)不均衡的數(shù)據(jù)集，包含10個(gè)樣本和對(duì)應(yīng)的類(lèi)別標(biāo)簽
data = [
    ([1, 2, 3], 0),
    ([4, 5, 6], 1),
    ([7, 8, 9], 1),
    ([10, 11, 12], 0),
    ([13, 14, 15], 1),
    ([16, 17, 18], 0),
    ([19, 20, 21], 1),
    ([22, 23, 24], 0),
    ([25, 26, 27], 1),
    ([28, 29, 30], 1)
]


# 分割特征和目標(biāo)變量
X = [sample[0] for sample in data]
y = [sample[1] for sample in data]


# 創(chuàng)建權(quán)重列表，根據(jù)類(lèi)別進(jìn)行加權(quán)
class_counts = torch.tensor([y.count(0), y.count(1)])
weights = 1.0 / class_counts.float()


# 創(chuàng)建WeightedRandomSampler對(duì)象
sampler = WeightedRandomSampler(weights, len(weights))


# 創(chuàng)建數(shù)據(jù)加載器，使用加權(quán)重采樣
dataset = list(zip(X, y))
dataloader = DataLoader(dataset, batch_size=2, sampler=sampler)


# 遍歷數(shù)據(jù)加載器獲取批次數(shù)據(jù)
for batch_X, batch_y in dataloader:
    print("Batch X:", batch_X)
    print("Batch y:", batch_y)

三、選擇適當(dāng)?shù)闹夭蓸臃椒?/strong>