工業(yè)大數(shù)據的范疇,為什么大數(shù)據上云要輕量化？

一、工業(yè)大數(shù)據的范疇

工業(yè)大數(shù)據包括制造企業(yè)信息化數(shù)據、工業(yè)物聯(lián)網數(shù)據，以及外部跨界數(shù)據。信息化數(shù)據包括了ERP中的客戶訂單、生產計劃等信息，工業(yè)物聯(lián)網數(shù)據主要是從生產設備上采集到的各種產質耗數(shù)據和智能產品上獲得的運維數(shù)據，而外部跨界數(shù)據包括環(huán)境數(shù)據、市場數(shù)據和競品數(shù)據等，而其中從機器設備上得到的數(shù)據比重將越來越大。

工業(yè)大數(shù)據的特征除了大數(shù)據的4V(數(shù)據量大、類型多、價值密度低、速度快)以外，還有專業(yè)性、關聯(lián)性、和時序性特征。工業(yè)大數(shù)據應該注意特征背后的物理意義以及特征之間關聯(lián)性的機理邏輯，互聯(lián)網上的大數(shù)據可以只針對數(shù)據本身進行挖掘和關聯(lián)，而不考慮數(shù)據本身的意義，挖掘到什么結果就是什么結果。工業(yè)大數(shù)據的挖掘必須要有明確的挖掘目標，針對應用的功能在此基礎上逐步擴展挖掘的方向。

二、為什么大數(shù)據上云要輕量化？

制造企業(yè)在構建大數(shù)據分析系統(tǒng)時，除了采用傳統(tǒng)的自建數(shù)據中心架構以外，還可以采用數(shù)據存儲和分析構建在公有云平臺，采用離線訓練模型，結合邊緣計算在生產現(xiàn)場利用實時數(shù)據和已經訓練好的模型進行業(yè)務應用的兩級架構。

兩級架構的優(yōu)點主要體現(xiàn)在以下四個方面：

1、降低存儲成本：從設備傳感器上采集的數(shù)據點往往是時序連續(xù)的過程量，隨著采集頻率的提高和周期延長，數(shù)據量是非常大的，如果考慮對海量的數(shù)據的存儲、備份和還原全生命周期的管理，往往在公有云上成本更低。

2、提高彈性：在公有云上處理大數(shù)據，空間和時間靈活性約高，對數(shù)據存儲和計算資源的要求會隨著項目時間越來越長而要求越來越高，而公有云基本能做到想什么時候要就什么時候要，想要多少就要多少。

3、提高容災性：傳統(tǒng)的數(shù)據中心的容災備份往往采用兩地三中心的方式，為保證7*24的系統(tǒng)高可用性對系統(tǒng)的要求高，而公有云的IaaS和PaaS的容災備份機制能實現(xiàn)低成本的低數(shù)據丟失率和更短恢復間隔。

4、數(shù)據共享更便利：企業(yè)應該把自身看成“大數(shù)據”價值鏈中的一部分，那么企業(yè)既是貢獻者也是受益者，工業(yè)大數(shù)據的價值可以共享給企業(yè)上下游使用， 采用統(tǒng)一的公有云平臺，促進數(shù)據資源的融會貫通，使得數(shù)據共享更方便。

大數(shù)據上云以后由于網絡帶寬的限制、對數(shù)據處理的時效性要求高、數(shù)據存儲成本以及模型訓練復雜程度多方面的原因，也要求在企業(yè)邊緣層對原始數(shù)據進行一些輕量化處理，在不損失大數(shù)據價值性的基礎上減少原始數(shù)據量。

三、輕量化的方法

輕量化是在不損失大數(shù)據價值性的基礎上減少網絡傳輸、存儲和訓練的數(shù)據量，并不是要剔除異常數(shù)據。在傳統(tǒng)的儀表數(shù)據采集的時候都有一個過濾異常數(shù)據的操作，會設定一定的閾值去除儀表讀數(shù)的異常跳變，而輕量化的方法不是采用這樣的方法去除異常數(shù)據，因為異常的數(shù)據有可能對業(yè)務分析是有價值的。輕量化的方法是在業(yè)務分析人員以價值需求為導向去發(fā)現(xiàn)數(shù)據和提取數(shù)據，主要是通過采樣中的特征選取和數(shù)據壓縮兩種方法。

特征選取是在可采集的樣本特征集合中選擇預測能力強的最佳子集，剔除重復，簡化多個特征之間的相互關聯(lián)。首先可以對多個特征做相關性分析，如果特征的相關性為1，表示兩個特征的變化是完全相同的，通過找出兩個特征的線性關系，能夠通過一個特征還原另外一個特征，一個簡單的例子如果產品的中文名稱要求是唯一的，那么這個產品的中文名稱和它的編碼相關性就是1，不存在多個編碼的產品取相同的名稱，那么在做數(shù)據采集、傳輸、存儲和訓練的時候只需要保留產品編碼，只需要在結果展示的時候通過對應表的方式找出產品名稱。如果在訓練樣本的時候對特征維度有明確的要求，也可以采用PCA方法對特征進行降維，PCA把原先的n個特征用數(shù)目更少的m個特征取代，從舊特征到新特征的映射捕獲數(shù)據中的固有變異性，盡量使新的m個特征互不相關。還有一些特征之間是有特殊規(guī)律可循，比如說某個機臺生產的班次和班組的關系是完全按照四班三運轉模式來排班，這個時候只需要確認班次就可以推導出執(zhí)行班組信息，這樣的規(guī)則如果是固定不變的話，可以在模型訓練時候直接處理特征，而不需要另外做采集和儲存。

采用壓縮算法也是常用的輕量化手段，在帶有時間戳的時序性連續(xù)變量采集中，隨著采集頻率的提高數(shù)據量也成級數(shù)上升，可以通過偏差檢測處理和羅旋門壓縮過濾，既能反映數(shù)據實際趨勢，所需要采集、傳輸和保存的數(shù)據也顯著減少。 下面的三張圖簡單展示了數(shù)據壓縮的過程。

而自編碼神經網絡是結合了以上兩種方式，采用自編碼神經網絡既可以對特征維度進行降維，也會通過編碼方式對數(shù)據進行壓縮。自編碼神經網絡是一種無監(jiān)督學習算法，它使用了反向傳播算法，并讓目標值等于輸入值，可以通過設定神經網絡的隱藏層節(jié)點數(shù)量來達到數(shù)據壓縮的目的。比如我們有100個輸入特征，可以設定隱藏層節(jié)點數(shù)量為50，最終輸出層還是還原100個輸入特征。模型訓練完成后，我們可以用模型的輸入層到隱藏層作為壓縮算法，把模型的隱藏層到輸出層作為解壓算法，這樣在邊緣層進行模型部署進行壓縮，在公有云利用模型進行解壓。自編碼神經網絡相對PCA來說可以更好的處理特征之間的非線性關系。

四、結語

在越來越多的制造業(yè)把大數(shù)據放在云端進行處理的時候，在網絡、存儲和計算能力有效的情況下，采用對數(shù)據進行壓縮和對數(shù)據特征進行選取的方法進行數(shù)據輕量化處理，以滿足數(shù)據業(yè)務分析需求和處理效率的高效。