關(guān)于機器學(xué)習(xí)做異常檢測的幾大問題解析

離群點和異常值的區(qū)別是什么？

離群值是遠(yuǎn)離分布的位置或者平均值的觀測值。然而，它們并不一定代表異常行為或由不同過程產(chǎn)生的行為。另一方面，異常是由不同的過程生成的數(shù)據(jù)模式。

異常檢測在藥品中有什么應(yīng)用嗎？

異常檢測在藥物生命科學(xué)領(lǐng)域有許多應(yīng)用。包括在制藥生產(chǎn)中使用統(tǒng)計過程控制（SPC）或質(zhì)量控制（QC）和多元過程控制（MSPC）圖表進行過程監(jiān)控和質(zhì)量控制。及時發(fā)現(xiàn)異常是避免異常事件發(fā)生，遵守安全標(biāo)準(zhǔn)的關(guān)鍵。發(fā)現(xiàn)柜臺交易中的異常情況，可以用來打擊醫(yī)藥零售數(shù)據(jù)中的處方濫用。實時檢測多參數(shù)臨床試驗數(shù)據(jù)中的異常，有助于保證臨床試驗的成功。

GANs也用于異常檢測嗎？如果是的話，能否提供一個行業(yè)用例

生成對抗網(wǎng)絡(luò)（GANs）是一種新的無監(jiān)督學(xué)習(xí)方法，在識別異常方面非常有效。由于GANs是設(shè)計成迭代的，并且對抗性訓(xùn)練的目的是利用重構(gòu)樣本來優(yōu)化減少殘差損失，因此它們在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中工作得很好。它們在醫(yī)學(xué)圖像分析（幫助放射學(xué)家發(fā)現(xiàn)難以識別的腫瘤）、面部識別、文本圖像轉(zhuǎn)換等方面非常有用。

數(shù)據(jù)相關(guān)性會影響異常檢測嗎？我們可以用什么方法，怎樣減少這些影響？是否最好在開始異常檢測之前清除和刪除關(guān)聯(lián)數(shù)據(jù)？

正如在網(wǎng)絡(luò)研討會上提到的，我們不認(rèn)為相關(guān)性會影響異常檢測，但我們有許多可用的技術(shù)來幫助確定如何處理相關(guān)變量。一個建議是使用主成分分析（PCA）這樣的技術(shù)來減少維數(shù)。

建議使用什么樣的算法適合于檢測與識別網(wǎng)絡(luò)活動或數(shù)據(jù)中的不尋?；顒佑嘘P(guān)的異常？

正如在網(wǎng)絡(luò)研討會上提到的，有許多方法和算法可以很好地用于異常檢測的各種應(yīng)用和用例。其中有遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、生成對抗網(wǎng)絡(luò)（GAN）、隔離森林、深度自編碼器等。如果你對網(wǎng)絡(luò)/圖分析特別感興趣，用來識別網(wǎng)絡(luò)圖異常的兩種主要方法是直接鄰居離群點檢測算法（DNODA）和社區(qū)鄰居算法（CNA）。

在我目前的工作中，“新穎性”是我們努力去發(fā)現(xiàn)的主要東西。質(zhì)量控制圖對于已知的模式很有效，但是自動識別新模式比較困難。我希望能得到一些在這方面有所幫助的工具的想法。

對于單變量質(zhì)量控制圖，西方的電氣規(guī)則可以用于檢測少數(shù)常見的模式。經(jīng)典的多元方法，如偏最小二乘（PLS），會捕獲到涉及不止一個變量的模式，但不能被單變量方法檢測。自動編碼器是最全面的工具，將涵蓋最廣泛的不同模式。它可以捕獲多變量、循環(huán)、非線性和交互的模式。你使用一組正常數(shù)據(jù)訓(xùn)練autoencoder，在訓(xùn)練集中沒有出現(xiàn)的新數(shù)據(jù)中出現(xiàn)的任何模式都將被標(biāo)記。

通過做PCA來減少維度會影響數(shù)據(jù)集中的異常嗎？它會導(dǎo)致異常現(xiàn)象的消失嗎？如果是這樣，如何預(yù)防呢？

做PCA將會在原始數(shù)據(jù)集中捕獲一些百分比的方差。因此，我們使用PCA進行異常檢測的方法是計算原始點到低維空間中表示的點的“距離”。距離越大（即在將觀測結(jié)果映射到低維空間時“丟失”的越多），我們就越認(rèn)為它是一種異常。