一種網絡大數據協作融合算法

摘要：

為了改善網絡大數據傳輸效率及其精度，降低網絡數據傳輸負荷，基于多層概率網絡模型和聯合決策研究了一種網絡大數據協作融合算法。首先，以復雜異構多層網絡的數據采集與緩存為對象，以實時感知數據及其準確處理為優(yōu)化目標，設計了一種多層概率聯合決策模型。接著，通過主層-分層和信號強度進行網絡大數據的多維描述，結合3步分解和三性融合，以逆變換去噪為驅動，提出了網絡大數據協作數據融合算法。最后，實驗和仿真結果表明，與實驗統計值相比，所提算法在數據融合精度和效率等方面具有明顯優(yōu)勢。

0 引言

復雜網絡控制與大數據傳輸已經成為大數據質量保障面臨的關鍵研究問題[1]，特別是，復雜網絡時滯擴散性[1]、同步控制[2]、應急通信網絡的大數據分析[3]、空地跨域大數據通信[4-5]等問題對大數據質量的影響嚴重。為有效解決上述問題，數據融合[6]被引入，并得到廣泛應用[7]。不過，復雜網絡的大數據融合性能依然受到網絡復雜度、數據碰撞和外界干擾等因素[8]制約，這些問題亟待解決。

在充分考慮網絡狀況及服務器之間的通信關聯等基礎上，文獻[9]基于OpenFlow網絡控制器，集中管理網絡狀態(tài)信息，提出了基于OpenFlow網絡的數據中心服務器負載均衡策略，從而有效改善虛擬機遷移后網絡擁塞而影響系統性能。文獻[10]研究了具有隨機噪聲和隨機概率分布的隨機鏈路網絡的最優(yōu)控制問題。為了應對大數據的影響，文獻[11]將傳統的個人計算、通信和存儲系統結合起來，討論了一種有效的信息系統容量，以便在更有自由度的新范式下挖掘信息系統的潛力。文獻[12]首先提出了一個通用的建模框架，描述了在大數據流處理所有的任務關系語義間的代表，在此基礎上解決了通信成本最小化的問題。文獻[13]提出了一種系統和自動化的方法來建立一個混合的入侵檢測系統，學習基于時域的電力系統場景的規(guī)范，包括干擾、正?？刂撇僮骱途W絡攻擊等。文獻[14]所提出的區(qū)間自適應加權波長選擇算法采用多模型融合方案，通過減少波長數量來精準預測，自適應優(yōu)化選擇波長。在異構信息空間中，文獻[15]通過查詢時間上下文關鍵字，研究了一種時間感知的查詢時實體識別與數據融合方法。

在已有復雜網絡控制、大數據傳輸和數據融合的一系列研究基礎上，本文從多層概率模型、數據傳輸聯合決策和網絡寫作控制等多維角度出發(fā)，研究了一種具有高傳輸精度、高傳輸效率和低數據融合誤差的網絡大數據協作融合機制。

1 多層概率聯合決策模型

復雜異構多層網絡的數據采集與緩存機制以實時感知數據和準確處理決策信息為核心，消除外界環(huán)境的冗余信息與各類型干擾對網絡數據的質量制約。但對于多層網絡的數據采集與傳輸概率控制和維護系統穩(wěn)定性的決策機制，成為網絡大數據融合的瓶頸問題。

首先，假設一個多層離散線性隨機網絡系統如式(1)所示：

其中，N表示多層網絡的分層數。

2 網絡大數據協作融合算法

基于多層概率聯合決策的網絡收集的大數據，從主層-分層角度出發(fā)采用S、L描述，如式（7）所示，還可以從信號強度出發(fā)采用H、M、L描述，如式（9）所示。

綜上所述，網絡大數據協作融合算法實施過程如圖3所示。其中，根據分解3步進行三性融合，結合聯合決策，以逆變換去噪為驅動，實現協作數據融合。

3 實驗結果分析

通過在200 m2的室內環(huán)境部署50個傳感器節(jié)點，持續(xù)采集100小時的溫度數據為網絡大數據源。傳感器節(jié)點采用無源供電方式，會因電池耗盡而消亡，網絡拓撲會發(fā)生動態(tài)變化。每個傳感器節(jié)點間隔10 s發(fā)送一次數據。可通過是否供電來激活傳感器節(jié)點。本文所提出的網絡大數據協作融合算法記為CFA-MJD，偽代碼如下：

采用Java與C++相結合的方式實現上述算法，測試不同傳輸精度下的數據傳輸速率以及數據融合誤差。實驗環(huán)境參數詳見表1。

圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數據傳輸速率與實驗速率統計值的對比結果。對比發(fā)現，當傳輸精度為40%時，CFA-MJD算法的傳輸率與實驗值較為接近；當傳輸精度為90%時，CFA-MJD算法的傳輸率反而高于實驗值。這表明，所提算法可以有效改進網絡大數據傳輸率并且保障較高的傳輸精度。這是因為所提算法采用了多層隨機網絡架構?；诜謱有盘柛蓴_和局部不確定因素集，結合網絡整體信號傳輸優(yōu)化目標需求，通過聯合決策保持了大數據的一致性，并有效降低了數據發(fā)生沖突的概率。

圖6給出了服務器響應延遲為5 s、10 s、15 s和20 s時，所提算法的數據融合誤差與實際統計誤差的對比結果。分析發(fā)現，所提算法所采用的在分層協作控制下對聯合決策下的接收信號yU分解即對yU按層還原，消除冗余信號和逐層更新yU，以及三性融合，確保了網絡大數據融合精度，并且可以很好地化解服務器大延遲造成的數據誤差。

4 結束語

復雜異構網絡的大數據傳輸面臨著效率低下、精度難以得到保障等問題，同時網絡數據傳輸負荷較大，導致資源利用率較低。為了有效解決上述問題，本文提出了一種基于多層概率網絡模型和聯合決策的網絡大數據協作融合算法。一方面，為多層網絡的數據源及其存儲控制建立實時感知和分層傳輸處理模型，在此基礎上提出一種具有多層概率協作的網絡大數據傳輸聯合決策模型；另一方面，從主層-分層和多層接收信號強度出發(fā)，給出了網絡大數據的多維描述，通過接收信號的3步分解和網絡的三性融合，提出了網絡大數據協作數據融合算法。實驗統計和仿真表明，所提算法可以有效改善網絡大數據融合精度、傳輸精度和網絡效率等性能。