深度學習在IoT大數據和流分析中的應用

來源：網絡大數據（ID:raincent_com）

摘要：這篇論文對于使用深度學習來改進IoT領域的數據分析和學習方法進行了詳細的綜述。

在物聯(lián)網時代，大量的感知器每天都在收集并產生著涉及各個領域的數據。

由于商業(yè)和生活質量提升方面的訴求，應用物聯(lián)網(IoT)技術對大數據流進行分析是十分有價值的研究方向。

這篇論文對于使用深度學習來改進IoT領域的數據分析和學習方法進行了詳細的綜述。從機器學習視角，作者將處理IoT數據的方法分為IoT大數據分析和IoT流數據分析。論文對目前不同的深度學習方法進行了總結，并詳細討論了使用深度學習方法對IoT數據進行分析的優(yōu)勢，以及未來面臨的挑戰(zhàn)。

論文貢獻

為了更好的在IoT領域內應用深度學習方法，作者分析了IoT數據的關鍵特征和主要問題。

作者對于目前最先進的深度學習方法及其在物聯(lián)網領域對于大數據和流數據的應用進行了詳細的總結。

作者對于目前應用了深度學習方法的大量IoT應用進行了介紹，并且對不同類型的深度神經網絡在各種IoT領域的應用進行了概括和對比。

強調了深度學習與物聯(lián)網應用成功結合所面臨的挑戰(zhàn)和未來的研究方向。

論文結構

物聯(lián)網數據特征及分析要求

IoT快速流數據

目前流數據分析都是基于數據并行計算或增量處理的框架，盡管這些技術減少了從流數據分析框架返回響應的時間延遲，對于IoT應用的嚴格時間要求，它們并不是最佳方案。

IoT需要在數據源附近的平臺(甚至是IoT設備自身)上進行快速流數據分析，以達到實時或近實時性的要求，傳統(tǒng)的流數據分析方法則面臨著計算、存儲以及數據源能量方面的局限和挑戰(zhàn)。

IoT大數據

IoT大數據具有“6V”特點：

容量(Volume)：數據量是將數據集視為大數據、或傳統(tǒng)的大規(guī)模/超大數據的一個決定性因素，使用物聯(lián)網設備產生的數據量比以前要多得多，明顯符合這一特點。

速度(Velocity)：物聯(lián)網大數據產生和處理速率要足夠高，以支持實時大數據的可用性。鑒于這種高數據率，也證明了需要先進的工具和技術分析才能有效地運作。

多樣性(Variety)：一般來說，大數據有不同的形式和類型。這可能包括結構化的、半結構化的和非結構化的數據。各種各樣的數據類型可以通過物聯(lián)網產生，如文本、音頻、視頻、傳感器數據等等。

真實性(Veracity)：真實性是指質量，一致性，和數據的可信性，有真實性的數據才能進行準確的分析。這一點對于物聯(lián)網來說尤其重要，特別是那些群體感知數據。

易變性(Variability)：這個屬性是指數據流的速率不同。由于物聯(lián)網應用的性質，不同的數據生成組件可能會有不一致的數據流。此外，在特定時間，一個數據源的數據加載速率可能不同。例如，利用物聯(lián)網傳感器的停車服務應用在高峰期的數據加載會達到峰值。

價值(Value)：價值是指大數據轉化成為有用的信息和內容，為組織帶來競爭優(yōu)勢。數據的價值的高度不僅僅取決于對數據的處理過程或服務，還取決于對待數據的方式。

數據流處理的主要障礙是缺少能部署在系統(tǒng)邊緣，甚至是IoT設備上的框架或算法。當采用深度學習方法時，也要折衷考慮運行在系統(tǒng)邊緣的網絡的深度和性能。

深度學習

與其他傳統(tǒng)機器學習方法相比，深度學習結構在近幾年受到越來越廣泛的關注。

Google Trend顯示近幾年對深度學習的關注呈上升趨勢

深度學習整體訓練機制

結構

深度學習模型總結

1)卷積神經網絡(Convolutional Neural Networks，CNN)

CNN的核心結構是卷積層，有一系列可學習的參數，稱作濾波器。訓練過程中，濾波器在全圖按照卷積順序進行移動，計算輸入和濾波器的乘積，得到該濾波器的特征圖。CNN的另一個結構是池化層，將輸入劃分成不重疊的區(qū)域，然后用每個區(qū)域的最大值作為輸出。CNN的最后一個結構是ReLU激活函數層，既可以縮短訓練時間，也能避免影響網絡的泛化能力。

CNN和DNN的主要區(qū)別在于CNN具有局部相連、權值共享的特性，因此在視覺任務中具有獨特的優(yōu)越性，并且降低了網絡的復雜性。

2)循環(huán)神經網絡(Recurrent Neural Networks，RNN)

循環(huán)神經網絡結構圖

RNN主要適用于輸入為序列(例如語音和文本)或時間序列的數據(傳感器數據)。RNN的輸入既包括當前樣例，也包括之前觀察的樣例。也就是說，時間為t-1時RNN的輸出會影響時間為t的輸出。RNN的每個神經元都有一個反饋環(huán)，將當前的輸出作為下一步的輸入。該結構可以解釋為RNN的每個神經元都有一個內部存儲，保留了用之前輸入進行計算得到的信息。

3)長短時記憶(Long Short Term Memory，LSTM)

LSTM記憶單元結構

LSTM是RNN的一種擴展。LSTM中，每個神經元除了有反饋環(huán)這一儲存信息的機制，還有用于控制神經元信息通過的“遺忘門”、“輸入層門”及“輸出層門”，防止不相關的信息造成的擾動。

4)自動編碼器(Autoencoders，AE)

自編碼器網絡結構

AE的輸入層和輸出層由一個或多個隱層相連接，其輸入和輸出神經元數量相同。該網絡的目標是通過用最簡單的方式將輸入變換到輸出，以重建輸入信息。

5)變分自動編碼器(Variational Autoencoders，VAE)

變分自動編碼器結構

VAE對數據結構的假設并不強，是較為流行的生成模型框架。它很適用于IoT解決方案，因為IoT數據呈現(xiàn)的多樣性，以及標記數據的缺失。模型由兩個子網絡組成：一個生成樣例，一個進行假設推理。

6)生成對抗網絡(Generative Adversarial Networks，GAN)

生成對抗網絡概念圖

GAN由兩個神經網絡組成，一個生成網絡，一個判別網絡，共同工作來產生合成的、高質量數據。生成器根據數據在訓練數據集中的分布生成新數據，判別器學習判別真實數據和生成器生成的假數據。GAN的目標函數是基于極大極小博弈的，一個網絡要最大化目標函數，而另一個要最小化目標函數。

7)受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)

受限玻爾茲曼機結構

RBM是一種隨機神經網絡，由兩層組成，一層是包含輸入的可見層，一層是含有隱變量的隱藏層。RBM中的限制是指同一層的任意兩個神經元互不相連。除此之外，偏置單元與所有的可見層和隱藏層單元都相連。

8)深度信念網絡(Deep Belief Network，DBN)

深度信念網絡結構圖

虛線表示特征提取通道，實現(xiàn)表示生成通道。DBN是一種生成神經網絡，由一個可見層可幾個隱層組成?？梢蕴崛∮柧殧祿亩鄬颖硎?，并且對輸入數據進行重構。DBN的訓練過程是逐層訓練，將每一層視作一個RBM，在前一層的基礎上進行訓練。這樣的機制使DBN成為深度學習中有效且快速的網絡之一。

9)階梯網絡(Ladder Network)

兩層階梯網絡

階梯網絡在無監(jiān)督和半監(jiān)督學習任務中達到了先進的水平。階梯網絡由兩個編碼器和一個解碼器組成。編碼器作為網絡的有監(jiān)督部分，解碼器進行無監(jiān)督學習。訓練目標是最小化有監(jiān)督部分和無監(jiān)督網絡的損失和。

快速實時深度學習結構

使用深度學習模型對數據流進行快速實時的處理仍在起步階段。

早期工作：

【1】是對超限學習機（Extreme learning machine，ELM）的擴展——OS-ELM，將一個實時序列學習算法應用到單隱層的前饋神經網絡。

【2】Ren等人提出的Faster-RCNN在圖片中的目標檢測中達到了接近實時的速度。他們的目標檢測框架的運行時間為5-17fps。然而對于圖像處理任務，真正的實時效果需要系統(tǒng)的處理和分析時間達到30fps或更高。

【3】Redmon等人提出了YOLO，將目標檢測的速度提高到45fps，以及更小版本的YOLO，速度更是達到了155fps，已經適用于智能相機。

深度學習與其他方法結合

1）深度增強學習（Deep Reinforcement Learning）

深度增強學習是將增強學習和深度神經網絡相結合的產物。其目標是創(chuàng)建能自主學習的個體（agent），通過建立成功的交互過程以獲得長期的最大正反饋（reward）。

當環(huán)境（environment）可由大量狀態(tài)表示時，傳統(tǒng)的增強學習方法稍顯不足，而深度神經網絡則彌補了這一點。在IoT領域，【4】使用深度增強學習實現(xiàn)了半監(jiān)督條件下智能校園環(huán)境中的定位。

2）遷移學習與深度模型（Transfer Learning with Deep Models）

遷移學習主要應用在域適應和多任務學習的領域。遷移學習對于許多難以收集訓練數據的IoT應用來說都是一個可用的解決方案。

例如訓練一個通過智能手機的低功耗藍牙和Wifi fingerpringting的定位系統(tǒng)，同一時間，在同一地點的RSSI值（Received Signal Strength Indication接收的信號強度指示）對于不同的平臺來說可能不同。

如果我們對一個平臺訓練了一個模型，該模型可以遷移到其他平臺，而不需要對新平臺再收集訓練數據。

3）深度學習與在線學習算法

由于IoT的應用產生的數據流會上傳到云平臺來分析，在線機器學習算法的角色變得越來越重要，因為訓練模型需要隨數據的增加而更新。

框架

近幾年，隨著深度學習在各個領域的應用熱潮，各種深度學習框架也應運而生。

Tensorflow： Tensorflow是機器學習系統(tǒng)的開源庫，可以使用多種深度神經網絡。

Tensorflow使用圖表示來建立神經網絡模型。開發(fā)人員也在使用TensorBoard，能可視化神經網絡模型，并且觀測學習過程，包括參數更新。

Torch： Torch是一個機器學習開源框架，包含大量深度學習算法，可用于深度神經網絡模型的簡單開發(fā)。它基于Lua語言開發(fā)，是訓練深度學習算法的輕量級快速框架。支持在CPU和GPU上開發(fā)機器學習模型，并且提供了訓練深度神經網絡的并行計算庫。

Caffe： Caffe是一個深度學習算法和參考模型集的開源框架。基于C++，支持CUDA進行GPU運算，并且提供Python和Matlab接口。Caffe通過配置文件定義模型，而不需要在源代碼中定義參數，將模型表示和實現(xiàn)分開。

深度學習框架對比

深度學習在IoT領域的應用

IoT應用和基礎服務。

基礎服務

1）圖像識別：

IoT的一大部分應用場景中，輸入深度學習的數據是圖片或視頻。每天，每個人都在用手機的高清攝像頭拍攝者圖片和視頻，除此之外，家居、校園或工廠也在使用智能攝像頭。所以，圖像識別、分類、目標檢測是這類設備的基礎應用。

2）語音識別

隨著智能手機和可穿戴設備的普及，語音識別也成了人們和自己的設備互動的一種自然而方便的方式。Price等人【5】搭建了一個專用的低功耗深度學習芯片，用于自動語音識別。這種特制芯片的能量消耗要比目前手機上運行的語音識別工具的能量消耗低100倍。

3）室內定位

室內定位在IoT領域有許多應用，例如智能家居、智能校園、或智能醫(yī)院。例如DeepFi系統(tǒng)，在線下訓練階段，通過深度學習用之前儲存的WiFi通道狀態(tài)信息數據來訓練網絡權重，在線上定位階段通過fingerpringting來測定用戶位置。

4）生理和心理狀態(tài)檢測

IoT與深度學習的結合也應用在了檢測各種生理或心理狀態(tài)中，例如姿態(tài)、活動和情緒。許多IoT應用都在交付的服務中整合了人體姿態(tài)估計或活動識別模塊，例如智能家居、智能汽車、XBox、健康、運動等等。

5）安全和隱私

安全和隱私是所有IoT領域應用所關注的一個重要問題。事實上，系統(tǒng)功能的有效性取決于是否能保護機器學習工具和處理過程不受攻擊。虛假數據注入（False Data Injection，F(xiàn)DI）是數據驅動系統(tǒng)的一種常見攻擊類型。

He等人【6】提出用條件DBN從歷史數據中提取FDI特征，然后利用這些特征進行實時攻擊檢測。作為物聯(lián)網數據和應用程序的一大貢獻者，智能手機也面臨著黑客攻擊的威脅。

Yuan等人【7】提出用深度學習框架來鑒別安卓應用中的惡意軟件，準確率達到了96.5%。深度機器學習方法的安全性和隱私保護是能否在IoT領域應用的最重要因素。

Shokri等人【8】提出了一種解決分布式學習的深度學習模型隱私保護問題的方法。

應用

1）智能家居：

智能家居的概念涉及廣泛的基于IoT的應用，它有助于提高家庭的能源使用和效率，以及居住者的便利性、生產力和生活質量。如今，家電可以與互聯(lián)網連接，提供智能服務。例如微軟和 Liebherr的一個合作項目，對從冰箱內收集的信息應用了Cortana 深度學習。這些分析和預測可以幫助家庭更好地控制他們的家庭用品和開支，并結合其他外部數據，可用于監(jiān)測和預測健康趨勢。

2）智慧城市：

智能城市服務跨越多個物聯(lián)網領域，如交通、能源、農業(yè)等。智慧城市的一個重要問題是預測群體移動模式，Song等人【9】開發(fā)了基于深度神經網絡模型的系統(tǒng)，在城市級別實現(xiàn)了這一目標。Liang等人【10】基于RNN模型搭建了實時群體密度預測系統(tǒng)，利用移動手機用戶的通信數據對交通站的群體密度進行預測。廢物管理和垃圾分類也是智慧城市的一個相關任務，可以通過基于視覺分類任務的CNN模型來實現(xiàn)自動化。Amato等人【11】基于智能相機和深度CNN開發(fā)了檢測停車場的使用中和空閑車位的系統(tǒng)。

3）能源：

消費者與智能電網之間的雙向通信是IoT大數據的來源。能源供應商希望學習當地的能源消費模式、預測需求，并根據實時分析做出適當的決定。在智能電網方面，從太陽能、風能或其他類型的自然可持續(xù)能源中預測電力是一個活躍的研究領域，深度學習在這一領域的許多應用中越來越多地被使用。

4）智能交通系統(tǒng)：

來自智能交通系統(tǒng)（ITS）的數據是大數據的另一個數據源。Ma等人【12】采用RBM和RNN結構設計了一個交通網絡分析系統(tǒng)，模型輸入是參與該系統(tǒng)的出租車GPS數據。該系統(tǒng)通過一小時內的累積數據預測交通擁堵的準確率高達88%。ITS也帶動了交通標志檢測和識別的發(fā)展，這一技術在自動駕駛、輔助駕駛系統(tǒng)中都有很重要的應用。除此之外，許多初創(chuàng)公司應用深度學習來完善自動駕駛汽車系統(tǒng)的檢測行人、交通標志、路障等任務。

5）醫(yī)療和健康：

IoT結合深度學習也在為個人和組織提供醫(yī)療和健康方案中得到應用。例如，開發(fā)基于移動應用程序的精確測量飲食攝入量的解決方案，可以幫助提升個人健康和幸福感。Liu等人【13】采用CNN開發(fā)了識別食物圖片和相關信息的系統(tǒng)。用深度學習對醫(yī)學圖片進行分類和分析是醫(yī)療領域的研究熱點。Pereira等人【14】通過CNN識別手寫圖片來鑒定早期帕金森癥。除此之外，深度學習與IoT的結合在聲音異常檢測、乳腺血管疾病檢測中也得到了應用

6）農業(yè)：

生產健康作物和發(fā)展有效的種植方式是健康社會和可持續(xù)環(huán)境的要求。使用深度神經網絡進行植物病害識別是一個可行的解決方案。深度學習也被用于遙感，進行土地和作物的檢測與分類。研究顯示，使用CNN進行作物識別準確率達到了85%，相比于MLP或隨機森林有很大提高。自動耕作中的預測和檢測任務也應用了深度學習。

7）教育：

IoT和深度學習的結合有助于提高教育系統(tǒng)的效率。移動設備可以收集學生的數據，深度分析方法可以用來預測和解釋學生的進步和成就。增強現(xiàn)實技術結合可穿戴設備和移動設備也是深度學習在這一領域的潛在應用，激發(fā)學生的興趣，讓教育學習方法更有效。此外，深度學習可以用于個性化推薦模塊，向教育者推薦更多相關內容。利用深度學習對大型開放式網絡課程數據（MOOC）進行分析，可以幫助學生更好的學習。除此之外，利用CNN監(jiān)測教室占用率是深度學習在教育方面的另一個應用。

8）工業(yè)：

對于工業(yè)部門來說，IoT和網絡物理系統(tǒng)（CPS）是推動制造技術邁向智能制造（工業(yè)4.0）的核心要素。工業(yè)中的廣泛應用均可以受益于深度學習模型的引入。通過將裝配線中生產車輛的圖像及其注釋都輸入深度學習系統(tǒng)，可以利用AlexNet、GoogLeNet等網絡實現(xiàn)視覺檢測。

9）政府：

許多涉及市政的各種任務需要精確的分析和預測?！?5】利用美國地質調查局網絡的歷史數據訓練LSTM網絡，可進行地震預測?！?6】利用極端氣候的圖片訓練CNN，進行極端氣候事件探測。此外，城市的基礎設施，如道路、供水管道等的損害檢測，是IoT和深度學習可以為政府提供便利的另一個領域。

10）運動和娛樂：

運動分析近年來發(fā)展迅速，為團隊或運動員帶來了競爭優(yōu)勢。【17】提出了深度學習方法打造智能籃球場?！?8】采用RNN識別NBA比賽中的球員違規(guī)?！?9】結合了可穿戴設備傳感數據和CNN進行排球運動員活動識別?！?0】采用層級結構的LSTM模型研究排球隊的整體活動。

11）零售：

隨著移動設備的普及，網上購物的人數大大增加了。最近出現(xiàn)了通過視覺搜索技術向產品圖像檢索的轉變。CNN一直用于服裝和時尚市場的視覺搜索，幫助你在網店中找到在電影中看到的或在街上看到的商品。IoT結合深度學習可以搭建視覺購物輔助系統(tǒng)，包括智能眼鏡、手套和購物車，目的是幫助視障人士購物。此外，智能購物車的開發(fā)可以實現(xiàn)實時自結賬的功能。

IoT設備上的深度學習

深度學習在語音和視頻方面的成功為IoT的基礎服務打下了良好的基礎，如何將它們的模型和方法部署在資源受限的設備上成了IoT領域的一個重要研究方向。到目前為止，深度學習方法難以應用于IoT和資源受限設備，因為它們需要大量的資源來運行，如處理器、電池能量和存儲器。

幸運的是，近期研究顯示，深度神經網絡的許多參數是冗余的，有時也不需要大量的隱層。有效的去除這些參數或層可以減少網絡的復雜度，同時對輸出不會有太大的影響。

方法和技術

1）網絡壓縮

在資源受限設備上應用深度神經網絡的方法之一是網絡壓縮，將密集的網絡轉化為一個稀疏的網絡。主要局限性在于，它不足以支持所有類型的網絡。它只適用于具有這種稀疏性的特定網絡模型。另外，修剪多余的和不重要的參數或神經元，是在資源受限的設備上運行深度神經網絡的另一個重要途徑。

深度神經網絡剪枝整體概念圖

2）近似計算：

近似計算是實現(xiàn)在IoT設備上部署機器學習工具的另一種方法，并有助于主機設備的節(jié)能。在許多IoT應用中，機器學習的輸出不一定是精確的，而是在可接受的范圍內提供所需的質量。實際上，將深度學習模型與近似計算相結合，可以為資源受限設備提供更有效的深度學習模型。

3）加速器：

設計特定的硬件和電路來優(yōu)化IoT設備中深度學習模型的能量效率和內存占用是另一個活躍的研究方向。目前已有工作為DNN和CNN設計加速器，并且應用Post-CMOS技術進行電子自旋加速。

4）微處理器：

除了之前所提方法，開發(fā)具有強深度學習能力的小尺寸處理器也是研究熱點。微處理器的設計尺寸在一立方毫米的范圍內，可以用電池驅動，進行深度神經網絡分析只消耗大約300毫瓦。通過這種技術，許多對時間要求較高的IoT應用程序可以在設備上執(zhí)行決策，而不是將數據發(fā)送到高性能計算機，等待它們的響應。

IoT的霧和云中心深度學習

最近，人們提出了霧計算，使計算和分析更接近終端用戶和設備，而不是僅僅停留在云計算上。實驗表明，通過對霧計算節(jié)點進行數據分析，可以避免向遙遠的云節(jié)點傳輸大量原始數據，從而提高整體性能。還可以在一定程度上進行實時分析，因為霧計算在本地，靠近數據源。

一些用于在霧或云上使用深度學習和服務的IoT領域的產品

技術和平臺

盡管在霧計算架構上引入了深度學習分析，云計算仍然是許多無法在霧計算中處理的IoT應用的唯一可行的解決方案。因此，設計的可擴展的和高性能的云中心的DNN模型和算法，對大量的IoT數據進行分析，仍然是一個重要的研究領域。

除了在云平臺上托管可擴展的深度學習模型基礎設施的進步，還需要研究使深度學習模型通過API訪問的機制和方法，以便容易地集成到IoT應用程序中。

在云平臺中作為服務的深度學習模型

挑戰(zhàn)

在霧計算節(jié)點上進行深度學習分析時，也會面臨一些挑戰(zhàn)：

深度學習服務發(fā)現(xiàn)：設備需要通過深度學習分析的某種擴展服務發(fā)現(xiàn)協(xié)議，來識別適當的分析提供者的來源。

深度學習模型和任務分布：在霧節(jié)點之間劃分深度學習模型和任務的執(zhí)行，以及在可用節(jié)點之間優(yōu)化數據流分配，對于時間敏感的應用程序是至關重要的。

設計因素：研究如何霧計算環(huán)境的設計因素，以及在這種環(huán)境中部署深度學習模型如何影響分析服務的質量是很有必要的。

移動端：在設計終端輔助的深度學習分析系統(tǒng)時，需要考慮移動端計算環(huán)境的動態(tài)性，因為移動設備可能會加入或離開系統(tǒng)。

深度學習帶來的IoT挑戰(zhàn)，以及未來的研究方向

挑戰(zhàn)

1）缺少大型IoT數據集：

缺乏可用的實際IoT應用大數據集將深度學習模型引入IoT的一個主要障礙，因為深度學習需要更多的數據來實現(xiàn)更高的精度。此外，更多的數據也可以防止模型過度擬合。

2）預處理：

許多深度學習方法需要對數據進行預處理以產生更好的結果，對于IoT應用，預處理會更復雜，因為系統(tǒng)處理的是來自不同數據源的數據，可能有多種格式和分布，而且還可能有數據丟失。

3）安全和隱私：

確保數據安全和隱私是許多IoT應用的一個主要問題，因為IoT大數據將通過互聯(lián)網進行分析，因此世界各地都有可能看得到。此外，深度學習訓練模型也容易受到惡意攻擊，如虛假數據注入或對抗性樣本輸入，其中IoT系統(tǒng)的許多功能或非功能性要求可能無法得到保證。

4）IoT大數據”6V“特性：

Volume（數據量）對于深度學習模型的時間消耗和結構復雜性提出了很大的挑戰(zhàn)。并且數據量巨大也帶來了包括噪聲和未標注數據的挑戰(zhàn)。

Variety（多樣性）帶來了管理不同數據源之間沖突的挑戰(zhàn)。在數據源沒有沖突的情況下，深度學習能夠有效處理異質數據。

Velocity（速率）帶來了高速處理和分析數據的要求，增強深度學習的在線學習和序列學習的技術仍需進一步研究。

Veracity（可信度），當輸入數據不是來自可信的數據源時，IoT的大數據分析則是無用的。

Variability（可變性），IoT大數據的流速可變性對在線分析提出了挑戰(zhàn)。

Value（價值），企業(yè)經理采用大數據的一個主要挑戰(zhàn)是，他們不清楚如何使用大數據分析來獲得價值，并改善他們的業(yè)務。

5）IoT設備上的深度學習：

在IoT設備上開發(fā)深度學習是一個新的挑戰(zhàn)，要考慮在資源受限的設備上處理深度神經網絡的需求。

6）深度學習局限：

盡管深度學習模型在許多應用中顯示出令人印象深刻的結果，它仍然有局限性。研究發(fā)現(xiàn)，深度網絡會將無法識別的圖片分類到熟悉的種類中。并且深度神經網絡的回歸能力有待增強。

未來研究方向

1）IoT移動數據：

IoT數據的一大部分來自移動設備。研究利用移動大數據與深度學習方法相結合的有效方式，可以為IoT提供更好的服務，特別是在智慧城市場景中。

2）結合環(huán)境信息：

單靠IoT的 傳感數據不能理解環(huán)境的情況。因此，IoT數據需要與其他數據源融合，即環(huán)境信息，以補充對環(huán)境的理解。

3）IoT分析的在線資源供應：

基于霧和云計算的深度學習快速數據分析部署需要在線配置霧或云資源來承載數據流。由于IoT數據的流特性，無法提前知道數據序列的容量。因此，我們需要一種新的基于當前數據流的算法，并且不依賴于數據流的先驗知識。

4）半監(jiān)督分析框架：

為半監(jiān)督學習而設計的先進的機器學習算法非常適合于智慧城市系統(tǒng)，可以使用少量的訓練數據集訓練模型，然后使用大量未標記數據來提高模型的準確性。

5）可靠的IoT分析：

深度學習方法可以通過分析大量的信息物理系統(tǒng)（CPS）和IoT系統(tǒng)的日志，以識別和預測可能受到攻擊的系統(tǒng)的薄弱點。這將有助于系統(tǒng)防止或從故障中恢復，從而提高CPS和IoT系統(tǒng)的可靠性水平。

6）自組織通信網絡：

由于IoT設備的數量龐大，配置和維護他們的基本物理M2M通信和網絡變得越來越難。雖然大量的網絡節(jié)點及其相互關系對傳統(tǒng)的機器學習方法是一個挑戰(zhàn)，但它為深度學習體系結構提供了一個機會，通過提供自配置、自優(yōu)化、自修復和自負載平衡等一系列的自我服務足以證明它們在這一領域的能力。

7）新興IoT應用：

無人機：無人機被用于許多實時圖像分析任務，如監(jiān)視、搜索和救援行動，以及基礎設施檢查。這些設備的采用面臨包括路由、節(jié)約能源、避免私人區(qū)域和避障等挑戰(zhàn)。深度學習對于該領域的預測和決策任務有很大的影響，可以推動無人機達到最佳性能。

虛擬/增強現(xiàn)實：虛擬/增強現(xiàn)實是受益于IoT和深度學習的另一個應用領域。增強現(xiàn)實可以用于提供諸如目標跟蹤、行為識別、圖像分類和對象識別這樣的服務。增強現(xiàn)實可以極大地影響如教育，博物館，智能車等幾大領域。

結論

深度學習和IoT近年來受到研究人員和商業(yè)領域的廣泛關注，這兩項技術對我們的生活、城市和世界都產生了積極的影響。IoT和深度學習構成了一個數據生產者-消費者鏈，其中IoT生成由深度學習模型分析的原始數據，深度學習模型產生高層次的分析，反饋給IoT系統(tǒng)，以微調和改進服務。

查看論文原文：Deep Learning for IoT Big Data and Streaming Analytics: A Survey

參考文獻

【1】N.-Y. Liang, G.-B. Huang, P. Saratchandran, and N. Sundararajan, “A fast and accurate online sequential learning algorithm for feedforward networks,” IEEE Transactions on neural networks, vol. 17, no. 6, pp. 1411–1423, 2006.

【2】S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards realtime object detection with region proposal networks,” IEEE transactions on pattern analysis and machine intelligence, vol. 39, no. 6, pp. 1137–1149, 2017.

【3】J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 779–788.

【4】M. Mohammadi, A. Al-Fuqaha, M. Guizani, and J.-S. Oh, “Semisupervised deep reinforcement learning in support of IoT and smart city services,” IEEE Internet of Things Journal, vol. PP, no. 99, pp. 1–12, 2017.

【5】M. Price, J. Glass, and A. Chandrakasan, “A scalable speech recognizer with deep-neural-network acoustic models and voice-activated power gating,” in Proceedings of the IEEE ISSCC2017, 2017.

【6】Y. He, G. J. Mendis, and J. Wei, “Real-time detection of false data injection attacks in smart grid: A deep learning-based intelligent mechanism,” IEEE Transactions on Smart Grid, 2017.

【7】 Z. Yuan, Y. Lu, Z. Wang, and Y. Xue, “Droid-sec: deep learning in android malware detection,” in ACM SIGCOMM Computer Communication Review, vol. 44, no. 4. ACM, 2014, pp. 371–372.

【8】R. Shokri and V. Shmatikov, “Privacy-preserving deep learning,” in Proceedings of the 22nd ACM SIGSAC conference on computer and communications security. ACM, 2015, pp. 1310–1321.

【9】X. Song, H. Kanasugi, and R. Shibasaki, “Deeptransport: Prediction and simulation of human mobility and transportation mode at a citywide level.” IJCAI, 2016.

【10】V. C. Liang, R. T. Ma, W. S. Ng, L. Wang, M. Winslett, H. Wu, S. Ying, and Z. Zhang, “Mercury: Metro density prediction with recurrent neural network on streaming cdr data,” in Data Engineering (ICDE), 2016 IEEE 32nd International Conference on. IEEE, 2016, pp. 1374–1377.

【11】G. Amato, F. Carrara, F. Falchi, C. Gennaro, C. Meghini, and C. Vairo, “Deep learning for decentralized parking lot occupancy detection,” Expert Systems with Applications, 2017.

【12】X. Ma, H. Yu, Y. Wang, and Y. Wang, “Large-scale transportation network congestion evolution prediction using deep learning theory,” PloS one, vol. 10, no. 3, p. e0119044, 2015.

【13】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma, “Deepfood: Deep learning-based food image recognition for computer-aided dietary assessment,” in International Conference on Smart Homes and Health Telematics. Springer, 2016, pp. 37–48.

【14】C. R. Pereira, D. R. Pereira, J. P. Papa, G. H. Rosa, and X.-S. Yang, “Convolutional neural networks applied for parkinson’s disease identification,” in Machine Learning for Health Informatics. Springer, 2016, pp. 377–390.

【15】Q. Wang, Y. Guo, L. Yu, and P. Li, “Earthquake prediction based on spatio-temporal data mining: An lstm network approach,” IEEE Transactions on Emerging Topics in Computing, 2017.

【16】Y. Liu, E. Racah, J. Correa, A. Khosrowshahi, D. Lavers, K. Kunkel, M. Wehner, and W. Collins, “Application of deep convolutional neural networks for detecting extreme weather in climate datasets,” Int’l Conf. on Advances in Big Data Analytics, 2016.

【17】W. Liu, J. Liu, X. Gu, K. Liu, X. Dai, and H. Ma, “Deep learning based intelligent basketball arena with energy image,” in International Conference on Multimedia Modeling. Springer, 2017, pp. 601–613.

【18】K.-C. Wang and R. Zemel, “classifying nba offensive plays using neural networks,” in Proc. MIT SLOAN Sports Analytics Conf, 2016.

【19】T. Kautz, B. H. Groh, J. Hannink, U. Jensen, H. Strubberg, and B. M. Eskofier, “Activity recognition in beach volleyball using a deep convolutional neural network,” Data Mining and Knowledge Discovery, pp. 1–28, 2017.

【20】M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, “A hierarchical deep temporal model for group activity recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1971–1980.

未來智能實驗室是人工智能學家與科學院相關機構聯(lián)合成立的人工智能，互聯(lián)網和腦科學交叉研究機構。

未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網（城市）云腦研究計劃，構建互聯(lián)網（城市）云腦技術和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務。