機器學習與物聯網安全的關聯

物聯網促進了物理世界和計算機通信網路之間的集成，基礎設施管理和環境監控等應用程式使隱私和安全技術對未來至關重要，物聯網系統由射頻識別(RFID)、無線傳感器網路(WSNs)和云計算組成，物聯網必須保護資料隱私并解決安全問題，如欺騙攻擊、入侵、DoS攻擊、分布式DoS (DDoS)攻擊、干擾、竊聽和惡意軟體等，例如，收集用戶健康資料并將其發送到連接的智能手機的可穿戴設備必須避免隱私資訊泄露，
對于計算、記憶體、無線電帶寬和電池資源有限的物聯網設備來說，通常不允許執行計算密集型和延遲敏感的安全任務，尤其是在大量資料流下，然而，大多數現有的安全解決方案對物聯網設備產生了沉重的計算和通信負載，戶外物聯網設備(如具有輕量級安全保護的廉價傳感器)通常比計算機系統更容易受到攻擊，如圖1所示，我們進行了關于物聯網認證、訪問控制、安全卸載和惡意軟體檢測的調查，

• 認證可以幫助物聯網設備區分欺騙、Sybil等基于身份的源節點和地址攻擊
• 訪問控制防止未經授權的用戶訪問物聯網資源
• 安全卸載技術使物聯網設備能夠使用服務器和邊緣設備的計算和存盤資源來完成計算密集型和延遲敏感的任務
• 惡意軟體檢測保護物聯網設備免受病毒、蠕蟲和木馬等惡意軟體的隱私泄露、功耗損耗和網路性能下降

隨著ML攻擊和智能攻擊的發展，物聯網設備必須在異構動態網路中選擇防御策略并確定安全協議中的關鍵引數以進行權衡，由于資源有限的物聯網設備通常難以及時準確地估計當前網路和攻擊狀態，因此這項任務具有挑戰性，例如，[L. Xiao, Y. Li, G. Han, G. Liu, and W. Zhuang, “PHY-layer spoofing detection with reinforcement learning in wireless networks,” IEEE Trans. Veh. Technol., vol. 65, no.12, pp. 10037–10047, Dec. 2016.]方案的認證性能對假設測驗中的測驗閾值很敏感，而假設測驗的閾值既依賴于無線電傳播模型，也依賴于欺騙模型，這些資訊對于大多數室外傳感器來說是不可用的，導致在欺騙檢測中出現高頻率假警報或誤檢率，
ML技術包括有監督學習(supervised learning)、無監督學習(unsupervised learning)、RL (RL)等，已經廣泛應用于提高網路安全性，如表1所示，如認證、訪問控制、抗干擾卸載、惡意軟體檢測等，

監督學習技術，如支持向量機(svm)，樸素貝葉斯，k -近鄰
(K-NN)、神經網路(nn)、深度神經網路(DNNs)和隨機森林可以用來標記物聯網設備的網路流量或應用痕跡，構建分類或回歸模型，例如，物聯網設備可以利用支持向量機檢測網路入侵和欺騙攻擊，利用K-NN檢測網路入侵和惡意軟體，利用NN檢測網路入侵和DoS攻擊，物聯網設備可以使用樸素貝葉斯進行入侵檢測，使用隨機森林分類器檢測惡意軟體，具有足夠計算和記憶體資源的物聯網設備可以利用DNN檢測欺騙攻擊，
無監督學習在有監督學習中不需要有標簽的資料，并調查無標簽資料之間的相似性，將它們聚到不同的組，例如，物聯網設備可以使用多元相關分析來檢測DoS攻擊，并在物理層(PHY)認證中應用無限高斯混合模型(IGMM)進行隱私保護，
RL技術，如Q學習、Dyna-Q、決策后狀態(PDS)和深度Q -網路(DQN)，使物聯網設備能夠通過試錯[8]選擇安全協議和關鍵引數來對抗各種攻擊，例如，Q-learning作為一種無模型RL技術已經被用于提高認證、抗干擾卸載和惡意軟體檢測的性能，物聯網設備可以使用Dyna-Q進行認證和惡意軟體檢測，使用PDS檢測惡意軟體，使用DQN進行抗干擾傳輸，

物聯網攻擊模式

物聯網系統由物、服務和網路組成，容易受到網路、物理和軟體攻擊以及隱私泄露，如圖1所示，我們將重點關注以下物聯網安全威脅：

• DOS attackers：攻擊者向目標服務器發送大量的請求，阻止物聯網設備獲取服務，DoS攻擊最危險的型別之一是DDoS攻擊者使用數千個Internet協議地址請求物聯網服務，使服務器難以區分合法的物聯網設備和攻擊者，分散型輕量級物安全協議尤其容易受到DDoS攻擊
• Jamming：攻擊者發送假信號來中斷物聯網設備正在進行的無線電傳輸，并進一步耗盡帶寬、能量和中央處理單元(cpu)、物聯網設備或傳感器的記憶體資源
• Spoofing：欺騙節點通過其身份(如媒介訪問控制(MAC)地址和RFID標簽)模擬合法的物聯網設備，以獲得對物聯網系統的非法訪問，并可以進一步發起諸如DoS和中間人攻擊等攻擊
• MIMA：中間人攻擊者發送干擾和欺騙信號，目的是秘密監視、竊聽和改變物聯網設備之間的私人通信
• Software attacks：移動惡意軟體如木馬、蠕蟲和病毒可能導致物聯網系統隱私泄露、經濟損失、電力消耗和網路性能下降
• Privacy leakage：物聯網系統必須在資料快取和交換期間保護用戶隱私，一些快取所有者對存盤在他們設備上的資料內容感到好奇，并分析和出售這類物聯網隱私資訊，可穿戴設備收集用戶的位置、健康等個人資訊，個人隱私泄露的風險越來越大，

基于機器學習的安全技術

基于認證的學習

傳統的認證方案并不總是適用于計算、電池和記憶體資源有限的物聯網設備，無法檢測欺騙、Sybil等基于身份的攻擊，物理層認證技術，利用無線電信道和發射機的物理層特征的空間去相關，如接收信號強度指示器(RSSIs)、接收信號強度(RSS)、無線電信道的信道脈沖回應(CIRs)、信道狀態資訊(CSI)、MAC地址可以在不泄露用戶隱私資訊的情況下為物聯網設備提供輕量級的安全保護，
物理層身份驗證方法(如[PHY-layer spoofing detection with reinforcement learning in wireless networks])構建假設測驗，以將被測訊息的物理層特征與宣告發送器的記錄進行比較，它們的驗證精度取決于假設檢驗中的檢驗閾值，然而，對于物聯網設備來說，由于無線電環境和未知的欺騙模型，物聯網設備選擇合適的認證的測驗閾值是一項挑戰，物聯網設備在最后一個時隙估計欺騙干擾檢測的虛警率和誤檢率，學習狀態由虛警率和誤檢率組成，如果已知當前狀態和測驗閾值，那么物聯網設備觀察到的未來狀態獨立于以前的狀態和動作，因此，在對抗欺騙攻擊的重復博弈中，物聯網認證的測驗閾值選擇可以看作是一個具有有限狀態的馬爾可夫決策程序，

馬爾可夫性：所謂馬爾可夫性是指系統的下一個狀態st+1僅與當前狀態st有關，而與以前的狀態無關，
定義：狀態st是馬爾可夫的，當且僅當 p(st+1|st)=p(st+1|st,st?1,?,s1)，
從定義中可以看到，當前狀態st其實蘊含了所有相關的歷史資訊s1,?,st， 馬爾可夫性描述的是每個狀態的性質，但真正有用的是如何描述一個狀態序列，數學中用來描述隨機變數序列的學科叫隨機程序，所謂隨機程序就是指隨機變數序列，
如果隨機變數序列中的每個狀態都滿足馬爾可夫性，那么該隨機程序稱為馬爾可夫隨機程序，強化學習的目標是給定一個馬爾可夫決策程序，尋找最優策略，

分布式FrankWolfe (dFW)和增量聚合梯度(IAG)等監督學習技術也可以應用于物聯網系統，以提高抗欺騙能力，
接下來介紹一個模型，參考文獻如下，
參考文獻：L. Xiao, X. Wan, and Z. Han, “PHY-layer authentication with multiple landmarks with reduced overhead,” IEEE Trans. Wireless Commun., vol. 17, no. 3, pp. 1676–1687, Mar. 2018.

上文中的身份驗證方案利用多個地標接收到的RSSIs，并使用邏輯回歸來避免被限制到一個已知的無線電信道模型，該認證方案通過采用dFW和IAG演算法估計logistic回歸模型的引數，節省了通信開銷，提高了欺騙檢測的準確性，如圖2所示，在6個地標，每個地標配備6根天線的仿真中，基于dFW的認證方案和基于IAG的認證方案的平均錯誤率分別為6%和小于10^-4，在這種情況下，基于dFW的認證減少了37.4%的通信開銷，而IAG與基于FrankWolfe的方案相比，減少了71.3%的計算開銷，

IGMM等無監督學習技術可以應用于基于近距離的認證中，在不泄露設備定位資訊的情況下，對靠近的物聯網設備進行認證，例如，在[Proximity-based security techniques for mobile users in wireless networks]中提出的認證方案使用IGMM，一種非引數貝葉斯方法，以避免過擬合問題，從而調整模型的復雜性，評估RSSIs和包到達時間間隔的環境無線電信號，以檢測接近范圍以外的欺騙，該方案在室內欺騙檢測實驗中，與基于歐氏距離的認證相比，檢測錯誤率降低了20% ~ 5%

如圖3所示，該方案請求被測物聯網設備發送特定時間段內所接收到的環境信號的RSSIs、MAC地址和包到達時間間隔等環境信號特征，物聯網設備提取環境信號特征并發送給合法的接收方，接收端接收到驗證訊息后，應用IGMM將上報的信號特征與基于鄰近度測驗中觀察到的環境信號特征進行比較，接收端為通過認證的物聯網設備提供對物聯網資源的訪問權，
最后，將DNN等深度學習技術應用于具有足夠計算和記憶體資源的物聯網設備，進一步提高認證精度，[Smart user authentication through actuation of daily activities leveraging WiFi-enabled IoT]中介紹的基于DNN的用戶認證提取Wi-Fi信號的CSI特征，并應用DNN檢測欺騙攻擊者，該方案的欺騙檢測準確率約為95%，用戶識別準確率為92.34%，

基于惡意軟體探測的學習

物聯網設備可以應用監督學習技術來評估應用程式在惡意軟體檢測中的運行行為，在[Evaluation of machine
learning classifiers for mobile malware detection]中開發的惡意軟體檢測方案中，物聯網設備使用k - nn和隨機森林分類器來構建惡意軟體檢測模型，如圖5所示，物聯網設備過濾TCP資料包，并在各種網路特征(包括幀號和長度)中選擇特征，對它們進行標記，并將這些特征存盤在資料庫中，基于k - nn的惡意軟體檢測將網路流量分配給其k - nn中物件數量最多的類，隨機森林分類器利用標記的網路流量構建決策樹來區分惡意軟體，根據[Evaluation of machine
learning classifiers for mobile malware detection]中的實驗，基于k - nn的惡意軟體檢測方案和基于MalGenome資料集的隨機森林方案的真陽性率分別為99.7%和99.9%，

物聯網設備可以將應用程式跟蹤轉移到云或邊緣設備上的安全服務器，以檢測具有更大的惡意軟體資料庫、更快的計算速度、更大的記憶體和更強大的安全服務的惡意軟體，要卸載的應用跟蹤的最佳比例取決于每個邊緣設備的無線信道狀態和生成的應用跟蹤的數量，RL技術可以應用于物聯網設備，在不知道惡意軟體和應用程式生成模型的情況下，實作動態惡意軟體檢測游戲中的最佳卸載策略，
在[Cloud-based malware detection game for
mobile devices with offloading]開發的惡意軟體檢測方案中，物聯網設備可以應用q學習來實作最佳的卸載率，而不需要知道鄰近物聯網設備的跟蹤生成和無線電帶寬模型，如圖6所示，物聯網設備將實時應用跟蹤劃分為若干部分，并觀察用戶密度和無線電信道帶寬來制定當前狀態，物聯網設備評估檢測精度增益、檢測延遲和能耗，以評估在該時間間隔內接收到的效用，在由100臺移動設備組成的網路中，與[Cloud-based malware detection game for
mobile devices with offloading]中的基準卸載策略相比，該方案提高了40%的檢測精度，減少了15%的檢測延遲，提高了47%的移動設備利用率，

[Cloud-based malware detection game for
mobile devices with offloading]中介紹的基于Dyna- q的惡意軟體檢測方案利用Dyna架構從假設的經驗中學習，并找到最佳的卸載策略，該方案利用Dyna架構生成的真實防御和虛擬體驗，提高了學習性能，例如，該方案與Q-learning檢測方法相比，檢測延遲減少了30%，準確率提高了18%，
為了解決Dyna-Q的虛假虛擬體驗，特別是在學習程序的開始，[Cloud-based malware detection game for
mobile devices with offloading]中開發的基于pds的惡意軟體檢測方案利用已知的無線電信道模型來加快學習速度，該方案利用網路模型、攻擊模型和信道模型的已知資訊來提高探測效率，并利用q學習來研究剩余的未知狀態空間，在由200個移動設備組成的網路中，該方案與基于動態q的方案相比，檢測精度提高了25%，

基于訪問控制的學習

室外傳感器等物聯網設備通常具有嚴格的資源和計算約束，這給例外入侵檢測技術帶來了挑戰，降低了物聯網系統的入侵檢測性能，ML技術有助于構建輕量級的訪問控制協議，以節省能源并延長物聯網系統的生命周期，例如，在[In-network outlier detection in wireless sensor networks]中開發的離群點檢測方案應用k - nn來解決無線傳感器網路中的無監督離群點檢測問題，并提供了在降低能耗的情況下定義離群點的靈活性，與平均能耗相近的集中式方案相比，該方案可最大節約能源61.4%，
[Neural network based secure media
access control protocol for wireless sensor networks]中提出的基于多層感知器(MLP)的訪問控制利用隱含層中有兩個神經元的NN來訓練MLP的連接權值，并計算表明物聯網設備是否是DoS攻擊的受害者的懷疑因子，該方案利用反向傳播(backpropagation, BP)，將正向計算和誤差BP結合起來，并將粒子群優化(particle swarm optimization, PSO)作為一種進化計算技術，利用速度可調的粒子更新MLP的連接權值，當MLP的輸出超過閾值時，被測驗物聯網設備會關閉MAC層和物理層功能，以節省能量并延長網路壽命，
有監督學習技術(如支持向量機)用于檢測針對互聯網流量和智能電網的多種攻擊型別，例如，[Traffic flooding attack detection with SNMP MIB using SVM]中提出的輕量級攻擊檢測機制使用基于SVM的層次結構來檢測流量泛濫攻擊，在攻擊實驗中，資料集采集系統通過SNMP查詢訊息從受害系統收集到SNMP管理資訊庫資料，實驗結果表明，該方案能夠達到99.40%以上的攻擊檢測率和99.53%以上的分類準確率，

物聯網安全卸載和學習

物聯網卸載必須解決由PHY或MAC層攻擊發起的攻擊，如干擾、非法邊緣設備、非法物聯網設備、竊聽、中間人攻擊和智能攻擊，作為未來國家物聯網設備獨立觀察到以前的狀態和動作對于一個給定的狀態和卸載策略在當前時間段,移動卸載策略選擇的物聯網設備的重復博弈與干擾器和干擾源與有限的國家可以被視為一個MDP，RL技術可用于優化動態無線電環境下的卸載策略，
q學習是一種無模型的RL技術，其實作方便，計算復雜度低，例如，物聯網設備可以利用[A mobile offloading game against smart attacks]中提出的基于q學習的卸載來選擇它們的卸載資料速率來對抗干擾和欺騙攻擊，如圖4所示，物聯網設備根據任務重要性、接收干擾功率、信道帶寬和信道增益來制定其當前狀態，這是根據q函式選擇卸載策略的依據，q函式是每個動作狀態對的預期貼現長期獎勵和表示從之前的抗干擾卸載中獲得的知識，根據當前卸載策略、網路狀態和物聯網設備接收到的抗干擾效用，在每個時隙中通過迭代Bellman方程更新q值，
物聯網設備評估接收信號的信噪比(SINR)、保密能力、卸載延遲和卸載程序的能量消耗，并估計該時間段的效用，物聯網設備在卸載策略選擇中應用了e-greedy演算法，該演算法以高概率選擇q值最大的卸載策略，以小概率選擇其他策略，因此，物聯網設備在探索(即避免陷入區域最優策略)和利用(即提高長期回報)之間做出權衡，與[A mobile offloading game against smart
attacks]中提出的基準策略相比，該方案降低了50%的欺騙干擾率和8%的干擾率，

根據[Competing mobile network
game: Embracing anti-jamming and jamming strategies with reinforcement learning]中提出的基于q學習的抗干擾傳輸，物聯網設備可以應用q學習選擇無線信道來訪問云或邊緣設備，而不需要意識到物聯網系統中的干擾和干擾模型，如圖4所示，物聯網設備通過觀察各通道的中心頻率和無線電帶寬來制定狀態，并根據當前狀態和q函式選擇最優的卸載通道，在收到計算報告后，物聯網設備評估實用程式并更新Q值，仿真結果表明，與基準隨機信道選擇策略相比，該方案的平均累積獎勵提高了53.8%，
q學習還可以幫助物聯網設備從無線電頻譜波段獲得最佳子帶，從而抵御來自其他無線電設備的干擾和干擾，如圖4所示，物聯網設備通過觀察頻譜占用情況來制定狀態并據此選擇頻譜頻段，在一個掃頻干擾器的實驗中，在兩個帶十個子帶的寬帶自主認知無線電存在的情況下，該方案的干擾成本比[Multi-agent reinforcement learning based cognitive anti-jamming]中的基準子帶選擇策略提高了44.3%，
在[Two-dimensional anti-jamming communication
based on deep reinforcement learning]中開發的基于DQN的抗干擾傳輸加快了物聯網設備的學習速度，具有足夠的計算和記憶體資源來選擇射頻信道，該方案采用卷積神經網路(convolutional NN, CNN)對包含大量物聯網設備的大規模網路和動態物聯網系統中的干擾策略進行狀態空間壓縮，從而提高接收信號的信噪比，更具體地說，CNN由兩個卷積層和兩個全連接層組成，CNN的權值是根據之前在記憶體池中的經驗，基于隨機梯度下降演算法更新的，CNN的輸出用于估計各個抗干擾傳輸策略的q函式值，與q學習方案相比，該方案使接收信號的信噪比提高了8.3%，在抗干擾攻擊方面節省了66.7%的學習時間，

物聯網安全中機器學習的注意事項

• 部分狀態觀察:現有基于RLL的安全方案假設每個學習代理都知道準確的狀態，并及時評估每個行為的即時獎勵，此外，Agent必須容忍糟糕的策略，尤其是在學習程序的開始階段，然而，物聯網設備通常在學習之初就準確估計網路和攻擊狀態有困難，避免因錯誤的策略而造成的安全災難，一個可能的解決方案是遷移學習，通過資料挖掘來探索現有的防御經驗，以減少隨機探索，加快學習速度，并減少在學習程序的一開始就選擇糟糕的防御策略的風險，此外，在學習程序中，從探索階段就需要提供備份安全機制來保護物聯網系統，
• 計算和通信開銷:許多現有的基于ML的安全方案具有密集的計算和通信開銷，需要大量的訓練資料和復雜的特征提取程序，因此，必須研究具有低計算和通信開銷(如dFW)的ML新技術，以增強物聯網系統的安全性，特別是在沒有云服務器和邊緣計算的場景下，
• 備份安全解決方案:為了實作最優策略，基于RL的安全方法必須在學習之初就探索可能導致物聯網系統網路災難的糟糕安全策略，基于無監督學習技術的入侵檢測方案有時具有不可忽略的誤檢率，有監督學習和無監督學習有時由于采樣過多、訓練資料不足和特征提取不良而無法檢測到攻擊，因此，需要設計備份安全解決方案，并與基于ML的安全方案相結合，提供可靠、安全的物聯網服務，