介紹一種基于中位數(shù)的離群值檢測(cè)方法

Hampel濾波器是一種基于中位數(shù)的離群值檢測(cè)方法，它可以用于消除在數(shù)據(jù)中存在的離群值。Hampel濾波器是由John Hampel在1974年提出的，他是一位德國(guó)數(shù)學(xué)家和統(tǒng)計(jì)學(xué)家，因其在離群值檢測(cè)領(lǐng)域的貢獻(xiàn)而聞名。

在統(tǒng)計(jì)學(xué)中，離群值是指與其他值明顯不同的異常值。這些異常值可能是由于數(shù)據(jù)損壞或錯(cuò)誤導(dǎo)致的，也可能是由于真實(shí)數(shù)據(jù)的異常情況而導(dǎo)致的。無(wú)論原因如何，離群值都會(huì)對(duì)數(shù)據(jù)分析和建模產(chǎn)生負(fù)面影響。

一、基本原理

Hampel濾波器通過(guò)將中位數(shù)作為估計(jì)量來(lái)檢測(cè)和替換離群值。該方法的主要步驟如下：

（1）計(jì)算數(shù)據(jù)中每個(gè)數(shù)據(jù)點(diǎn)的中位數(shù)。

（2）計(jì)算每個(gè)數(shù)據(jù)點(diǎn)與中位數(shù)之間的差異。

（3）計(jì)算差異的中位數(shù)和標(biāo)準(zhǔn)差。

（4）根據(jù)中位數(shù)和標(biāo)準(zhǔn)差確定離群值的閾值。

（5）將超過(guò)閾值的值替換為中位數(shù)。

Hampel濾波器可以通過(guò)調(diào)整閾值來(lái)平衡過(guò)濾離群值和保留異常值之間的折衷。較小的閾值會(huì)更有效地檢測(cè)離群值，但可能會(huì)錯(cuò)誤地移除真實(shí)的異常值。較大的閾值可能會(huì)忽略一些離群值，但也可能會(huì)保留一些真實(shí)的異常值。

二、特點(diǎn)

與其他離群值檢測(cè)方法相比，Hampel濾波器具有以下優(yōu)點(diǎn)：

(1)它是一種魯棒性較強(qiáng)的方法，對(duì)數(shù)據(jù)的分布不太敏感。

(2)它可以在不需要事先了解數(shù)據(jù)分布的情況下進(jìn)行離群值檢測(cè)。

(3)它可以檢測(cè)并替換多個(gè)離群值，而不是只能處理單個(gè)異常值。

雖然Hampel濾波器在某些情況下可能不是最佳選擇，但它是一種簡(jiǎn)單而有效的方法，可用于許多數(shù)據(jù)分析任務(wù)中。

三、用法

hampel(x, window_size=3, n_sigmas=3, imputation='padded')

其中，x是待處理的一維數(shù)據(jù)數(shù)組，window_size是用于計(jì)算中位數(shù)和標(biāo)準(zhǔn)差的窗口大小，默認(rèn)為3，表示使用當(dāng)前數(shù)據(jù)點(diǎn)及其相鄰的前后兩個(gè)數(shù)據(jù)點(diǎn)計(jì)算中位數(shù)和標(biāo)準(zhǔn)差。n_sigmas是判斷異常值的閾值，它表示數(shù)據(jù)點(diǎn)與中位數(shù)之間的偏差超過(guò)多少個(gè)標(biāo)準(zhǔn)差時(shí)被認(rèn)為是異常值，默認(rèn)為3。imputation參數(shù)用于指定處理數(shù)據(jù)邊緣（即數(shù)組的第一個(gè)和最后一個(gè)數(shù)據(jù)點(diǎn)）時(shí)采用的方法，默認(rèn)為'padded'，表示使用填充方式進(jìn)行處理。

例如，下面的代碼演示了如何使用Hampel函數(shù)對(duì)一組數(shù)據(jù)進(jìn)行異常值檢測(cè)：

import numpy as np
from statsmodels.robust.scale import hampel


# 生成一組隨機(jī)數(shù)據(jù)
x = np.random.normal(0, 1, 100)


# 在數(shù)據(jù)中添加幾個(gè)異常值
x[10] = 10
x[20] = -10


# 使用Hampel函數(shù)檢測(cè)異常值
y = hampel(x, window_size=5, n_sigmas=3)


# 輸出結(jié)果
print(x)
print(y)