使用無監(jiān)督學(xué)習(xí)和合成數(shù)據(jù)作為數(shù)據(jù)增強方法來分類異常

導(dǎo)讀

創(chuàng)建異常檢測模型，實現(xiàn)生產(chǎn)線上異常檢測過程的自動化。在選擇數(shù)據(jù)集來訓(xùn)練和測試模型之后，我們能夠成功地檢測出86%到90%的異常。

介紹

異常是指偏離預(yù)期的事件或項目。與標準事件的頻率相比，異常事件的頻率較低。產(chǎn)品中可能出現(xiàn)的異常通常是隨機的，例如顏色或紋理的變化、劃痕、錯位、缺件或比例錯誤。

異常檢測使我們能夠從生產(chǎn)流程中修復(fù)或消除那些處于不良狀態(tài)的部件。因此，由于避免生產(chǎn)和銷售有缺陷的產(chǎn)品，制造成本降低了。在工廠中，異常檢測由于其特點而成為質(zhì)量控制系統(tǒng)的一個有用工具，對機器學(xué)習(xí)工程師來說是一個巨大的挑戰(zhàn)。

不推薦使用監(jiān)督學(xué)習(xí)，因為：在異常檢測中需要內(nèi)在特征，并且需要在完整數(shù)據(jù)集(訓(xùn)練/驗證)中使用少量的異常。

另一方面，圖像比較可能是一個可行的解決方案，但標準圖像處理多個變量，如光線、物體位置、到物體的距離等，它不允許與標準圖像進行像素對像素的比較。在異常檢測中，像素到像素的比較是不可或缺的。

除了最后的條件外，我們的建議包括使用合成數(shù)據(jù)作為增加訓(xùn)練數(shù)據(jù)集的方法，我們選擇了兩種不同的合成數(shù)據(jù)，隨機合成數(shù)據(jù)和相似異常合成數(shù)據(jù)。(詳見數(shù)據(jù)部分)

這個項目的目標是使用無監(jiān)督學(xué)習(xí)和合成數(shù)據(jù)作為數(shù)據(jù)增強方法來分類異常 — 非異常。

背景研究

異常檢測與金融和檢測“銀行欺詐、醫(yī)療問題、結(jié)構(gòu)缺陷、設(shè)備故障”有關(guān)(Flovik等，2018年)。該項目的重點是利用圖像數(shù)據(jù)集進行異常檢測。它的應(yīng)用是在生產(chǎn)線上。在項目開始時，我們熟悉了自動編碼器在異常檢測中的功能和架構(gòu)。作為數(shù)據(jù)計劃的一部分，我們研究了包括合成噪聲圖像和真實噪聲圖像的重要性(Dwibedi et al, 2017)。

數(shù)據(jù)計劃是這個項目的重要組成部分。選擇一個數(shù)據(jù)集，有足夠的原始圖像和足夠的真實噪聲的圖像。同時使用合成圖像和真實圖像。在處理真實圖像時，這些數(shù)據(jù)需要對目標有全覆蓋，但是在尺度和視角方面無法完全獲得?！啊獏^(qū)分這些實例需要數(shù)據(jù)集對對象的視角和尺度有很好的覆蓋”(Dwibedi et al, 2017)。

合成數(shù)據(jù)的使用允許“實例和視角的良好覆蓋”(Dwibedi et al, 2017)。合成圖像數(shù)據(jù)集的創(chuàng)建，包括合成渲染的場景和對象，是通過使用Flip Library完成的，這是一個由LinkedAI創(chuàng)建的開源python庫?！凹羟?，粘貼和學(xué)習(xí)：非常簡單的合成實例檢測”，通過這些數(shù)據(jù)的訓(xùn)練和評估表明，使用合成數(shù)據(jù)集的訓(xùn)練在結(jié)果上與在真實圖像數(shù)據(jù)集上的訓(xùn)練具有可比性。

自動編碼器體系結(jié)構(gòu)“通?！睂W(xué)習(xí)數(shù)據(jù)集的表示，以便對原始數(shù)據(jù)進行維數(shù)縮減(編碼)，從而產(chǎn)生bottleneck。從原始的簡化編碼，產(chǎn)生一個表示。生成的表示(重構(gòu))盡可能接近原始。

自動編碼器的輸入層和輸出層節(jié)點數(shù)相同?！癰ottleneck值是通過從隨機正態(tài)分布中挑選出來的”(Patuzzo, 2020)。在重構(gòu)后的輸出圖像中存在一些重構(gòu)損失(Flovik, 2018)，可以通過分布來定義原始圖像輸入的閾值。閾值是可以確定異常的值。

去噪自動編碼器允許隱藏層學(xué)習(xí)“更魯棒的濾波器”并減少過擬合。一個自動編碼器被“從它的一個損壞版本”來訓(xùn)練來重建輸入(去噪自動編碼器(dA))。訓(xùn)練包括原始圖像以及噪聲或“損壞的圖像”。隨著隨機破壞過程的引入，去噪自編碼器被期望對輸入進行編碼，然后通過去除圖像中的噪聲(破壞)來重建原始輸入。

用去噪自編碼器提取和組合魯棒特征，去噪自編碼器應(yīng)該能夠找到結(jié)構(gòu)和規(guī)律作為輸入的特征。關(guān)于圖像，結(jié)構(gòu)和規(guī)律必須是“從多個輸入維度的組合”捕獲。Vincent等(2020)的假設(shè)引用“對輸入的部分破壞的魯棒性”應(yīng)該是“良好的中間表示”的標準。

在這種情況下，重點將放在獲取和創(chuàng)建大量原始和有噪聲圖像的能力上。我們使用真實數(shù)據(jù)和合成數(shù)據(jù)創(chuàng)建了大量的圖像來訓(xùn)練我們的模型。

根據(jù)Huszar(2016)的說法，擴張卷積自動編碼器“支持感受野的指數(shù)擴展，而不丟失分辨率或覆蓋范圍。“保持圖像的分辨率和覆蓋范圍，對于通過擴大卷積自動編碼器重建圖像和使用圖像進行異常檢測是不可或缺的。這使得自動編碼器在解碼器階段，從創(chuàng)建原始圖像的重建到更接近“典型”自動編碼器結(jié)構(gòu)可能產(chǎn)生的結(jié)果。

Dilated Convolutional Autoencoders Yu et al.(2017)，“Network Intrusion Detection through Stacking Dilated Convolutional Autoencoders”，該模型的目標是將無監(jiān)督學(xué)習(xí)特征和CNN結(jié)合起來，從大量未標記的原始流量數(shù)據(jù)中學(xué)習(xí)特征。他們的興趣在于識別和檢測復(fù)雜的攻擊。通過允許“非常大的感受野，而只以對數(shù)的方式增加參數(shù)的數(shù)量”，Huszar (2016)，結(jié)合無監(jiān)督CNN的特征學(xué)習(xí)，將這些層堆疊起來(Yu et al.， 2017)，能夠從他們的模型中獲得“卓越的性能”。

技術(shù)

Flip Library (LinkedAI)：https://github.com/LinkedAi/flip

Flip是一個python庫，允許你從由背景和對象組成的一小組圖像(可能位于背景中的圖像)中在幾步之內(nèi)生成合成圖像。它還允許你將結(jié)果保存為jpg、json、csv和pascal voc文件。

Python Libraries

在這個項目中有幾個Python庫被用于不同的目的：

可視化(圖像、指標)：

OpenCV

Seaborn

Matplotlib

處理數(shù)組：

Numpy

模型：

TensorFlow

Keras

Random

圖像相似度比較：

Imagehash

PIL

Seaborn (Histogram)

Weights and Biases

Weights and bias是一個開發(fā)者工具，它可以跟蹤機器學(xué)習(xí)模型，并創(chuàng)建模型和訓(xùn)練的可視化。它是一個Python庫，可以作為import wandb導(dǎo)入。

它工作在Tensorflow, Keras, Pytorch, Scikit，Hugging Face，和XGBoost上。使用wandb.config配置輸入和超參數(shù)，跟蹤指標并為輸入、超參數(shù)、模型和訓(xùn)練創(chuàng)建可視化，使它更容易看到可以和需要更改的地方來改進模型。

模型&結(jié)構(gòu)

我們基于當(dāng)前的自動編碼器架構(gòu)開始了我們的項目，該架構(gòu)專注于使用帶有卷積網(wǎng)絡(luò)的圖像(見下圖)。經(jīng)過一些初步的測試，基于研究(參見參考資料)和導(dǎo)師的建議，我們更改為最終的架構(gòu)。

自編碼器的典型結(jié)構(gòu)

使用擴張?zhí)卣?/strong>