機器學習開始在IoT系統中發(fā)揮越來越重要的作用。但因為一些限制，目前來看，進展是比較緩慢的。IoT中供給給ML的系統主要有兩種類型：流數據（stream）和累積數據（accumulate）流數據以較小的間隔捕獲或生成，而累積數據則在被存儲在一個空間中，用來分析，存儲或預測。各有用途。自動駕駛就不能依賴塊數據，他必須依賴于流數據的預測，這讓他能夠在非常短的時間里進行響應。而在推薦系統，視頻分析，氣候預測，醫(yī)療診斷和經濟預測中，累積數據就能起到很好的分析功能。

CONVOLUTIONAL NEURAL NETWORKS WITH IoT?

卷積神經網絡（CNN）以處理像素數據和圖像識別功能而聞名。CNN使用隱藏層的方式可以完成常規(guī)視覺任務經常失敗的轉換功能，例如旋轉，翻譯或反射等。隱藏層是卷積層的組合，并且與輸出層完全連接。卷積層是CNN的核心。 CNN在物聯網中被廣泛使用，因為許多物聯網設備使用攝像頭作為傳感器來感知周圍的環(huán)境，能獲得許多圖像數據。例如無人機，智能連接的汽車和智能手機。

RECURRENT NEURAL NETWORKS WITH IoT

循環(huán)神經網絡（RNN）是物聯網中最有用的DL體系結構。 RNN是實時運行的。因此主要用在對設備中流數據的分析。RNN主要用于預測結果的特征。基于之前幾個樣本，分析流數據中輸入順序和變化速率。 RNN使用使用反向傳播算法（BPTT）來訓練網絡。 RNN用于那些單個樣本不夠的應用中，但輸入序列起著至關重要的作用。 RNN的結構如圖1.2所示。

智能網格框架中智能家居的能源需求預測是基于IoT的RNN的產品之一。其他應用比如入侵檢測系統和在一些資源約束設備的身份認證。

LONG SHORT-TERM MEMORY WITH IoT

長短期記憶網絡（LSTM）是RNN的擴展。 LSTM由內存單元組成，因為RNN中的缺點是記憶很短，數據用過就忘。LSTM通過引入gates的概念克服了這一約束。有三種gate類型，忘記門，輸入門，輸出門。所有門一起工作，可輸入，輸出和刪除中執(zhí)行多個功能。?

LSTM和RNN之間的顯著差異之一是忘記門。如果數據對時間有長期依賴，LSTM的性能則優(yōu)于RNN。這種有對時間長期依賴的數據使LSTM成為預測模型的理想選擇。例如在體育中識別人類活動，環(huán)境監(jiān)測和學術績效預測等應用，其他比如有許多產生大量數據的工業(yè)物聯網應用，水質預測，QoS屬性預測和PM10濃度預測等。

AUTOENCODERS AND VARIATIONAL AUTOENCODERS WITH IoT?

自動編碼器（AES）具一個輸入層和一個輸出層，并且中間有多個隱藏層，它們的數量可能會從一個到數十個變化。已知AE具有相同數量的輸入參數和輸出參數，如圖1.3所示。 AES的任務是將輸入轉換為輸出而不更改輸入。此類網絡主要用于無監(jiān)督的學習和轉移學習。 AE的主要用途是在裝配線性能中的故障檢測，醫(yī)學診斷和異常檢測。自動編碼器應用程序由IoT網絡檢測組成，并在WSN中分布異常檢測。

后來，2013年將自動編碼器修改為變異自動編碼器（VAE）。VAE使用反向傳播算法加快模型訓練；該模型通常用于半監(jiān)督學習。物聯網的產生的多種缺乏標記的數據使VAE非常適合物聯網。 VAE主要用于安全系統和故障檢測。?

VAE背后的主體依賴兩個網絡：一個生成樣本，另一個產生近似推斷。VAE主要應用于在智慧城市和物聯網網絡安全。 VAE在智能城市的情況下提供了優(yōu)勢，因為大量傳感器會產生巨大的沒有標記的數據集。

GENERATIVE ADVERSARIAL NETWORKS WITH IoT

Ian Goodfellow和他的同事最近在2014年推出了生成對抗網絡（GANS）。 GAN由兩個神經網絡組成，即生成和判別網絡，如圖1.4所示。生成網絡負責在學習數據分布后使用可用數據集生成新數據。同時，判別網絡試圖區(qū)分真實數據和虛假數據。生成網絡生成數據試圖欺騙判別網絡，而判別網絡則試圖分辨假和真實之間的區(qū)別。 GAN中的兩個網絡在Minimax游戲中相互競爭；一個網絡試圖最大化真實和假貨之間的差異，而另一個則試圖最大程度地減少它。在物聯網中，GANS可以用作需要從可用數據集創(chuàng)建新數據的應用程序。例如，在導航功能中，生成網絡在兩個目的地之間生成多個路徑，而識別網絡中，試圖識別最可行的路徑。

RESTRICTED BOLTZMANN MACHINE WITH IoT

受限玻爾茲曼機（RBMS）是保羅·斯莫洛斯基（Paul Smolensky）于1986年生成的最古老的人工神經網絡之一。今天經過幾次修改，RBM用于分類，協作過濾，功能學習和主題建模。 RBM是一個兩層模型，其中一個是可見層，我們稱之為輸入，另一個是負責潛在變量的隱藏層。在物聯網中，RBM用于多個垂直領域，從能源消耗預測，交通擁堵預測，姿勢分析到室內定位。可以用于應用程序從可用功能中提取出最基本功能。

DEEP LEARNING ON IoT ALONG WITH OTHER ALGORITHMS

自2015年以來，常規(guī)DL在IoT領域的應用很頻繁；但是，使用其他技術也在發(fā)揮著重要作用。例如深度強化學習（DRL）是加強學習（RL）與DNN的融合。在物聯網中，DRL用于半監(jiān)督學習，以在校園內進行定位。轉移學習和在線學習是更多與常規(guī)DL結合的方法，以獲得更好的結果。截至目前，在IoT上使用DL進行轉移學習是一個積極的研究主題，但其大部分工作仍在實驗室中，還沒有擴展到現實世界。