題目：AutoST: Efficient Neural Architecture Search for Spatio-Temporal Prediction
文章作者資訊：
預覽摘要：
時空(ST)預測(如人群流預測)在城市規劃、智能交通和公共安全等一系列智慧城市應用中具有重要意義，近年來，人們提出了許多深度神經網路模型來進行準確的預測，然而，手動設計神經網路需要花費大量的精力和時空領域的專業知識，如何自動建立一個通用的神經網路來處理城市中的各種時空預測任務?
在本文中，作者研究了時空預測任務的神經網路結構搜索(NAS)，并提出了一種有效的時空神經網路結構搜索方法，名為AutoST，本文設計了一種新的時空域搜索空間，該空間由兩類分量組成:(i)在每一層進行可選的卷積運算，自動提取多范圍的時空相關性;(ii)可學習跳過層之間的連接來動態融合低級和高級的時空特征，
本文在出租車流和人流等四個真實時空預測任務上進行了大量的實驗，結果表明所學的網路架構可以顯著提高時空神經網路中代表性模型的性能，此外，文中提出的高效NAS方法的搜索速度比最先進的NAS方法快8-10倍，證明了AutoST的效率和有效性，
主要貢獻：
本篇文章的主要貢獻可以總結為以下三點：
（1）提出了一種新的時空預測模型AutoST，該模型引入了神經網路結構搜索技術來動態捕捉空間相關性，并融合多層次特征，此外，AutoST面向的是ST資料，而不是特定的應用程式場景，這些場景可以很容易地應用于一系列深度模型，
（2）設計了一個高效的搜索空間，包括兩個基本模塊：1)在每一層使用混合卷積塊來捕獲不同范圍的空間相關性；2)層間混合跳躍連接塊，動態融合多層次特征，
（3）在從出租車流和人流等四個真實時空資料集上進行了廣泛的實驗，實驗結果表明，AutoST可以顯著提高時空預測能力，
模型結構：
方案思路：
為了處理先前作業的遺留問題，本文提出了AutoST模型，具體包含三個部分，分別為：初始時空特征抽取組件，特征學習組件以及額外特征融合預測組件，AutoSt模型和傳統模型的比較如下圖：
模型整體結構：
上圖中(a)表示傳統的殘差模型，具有固定的卷積和固定的連接操作，圖(b)中Darts模型具有多種候選操作，如：卷積操作，池化操作和連接操作等，圖(c)為本文提出的模型結構，它主要由兩種型別操作組成（混合卷積操作和混合連接操作），混合卷積操作在每一層搜索不同的卷積核，混合連接操作在不同的層之間學習否連接操作，目的是進行不同級別特征的融合，
實驗結果：
不同方法在(CorwdBJ, TaxiJN, TaxiGY)三種資料集上的實驗效果：
不同方法在TaxiBJ資料集上的實驗效果：
不同方法運行效率及性能比較：
引數對比控制實驗：
AutoST模型在CrowdBJ和TaxiGY資料集上學到的架構：
結論：
本文研究了利用神經網路結構搜索方法進行時空預測任務的問題，提出了一種新的NAS網路，名為AutoST，它具有一個為時空預測任務定制的高效搜索空間，并可推廣到多個不同場景，具體來說，AutoST包括一個由多尺度內核組成的可選卷積塊，用于在可變尺度下捕獲不同范圍的特征；一個可訓練的連接塊，用于動態融合多尺度空間特征，本文所提出的AutoST演算法能夠自動搜索處理多范圍、多尺度預測問題的體系結構，此外，AutoST運行高效，并且對場景并不敏感，在人流和出租車流預測等的四個真實資料集上的實驗表明，AutoST模型的性能優于固定架構，比其他搜索方法更有效，
更多相關專業文章，歡迎關注公眾號！
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/23579.html
標籤：其他
上一篇：執行緒2：執行緒創建等待及退出