本文僅用于學習程序中的一些總結記錄，2020年發表的關于事件相機在一些領域的總結，

1. 運動估計 Motion Estimation

有不少關于運動估計的論文，基本是圍繞之前最大化事件積累圖對比度的方式進行，

最小化Entropy

[1] 采用最小化熵函式的方式，對運動引數進行估計，文章指出最大的優點是，這種方法不需要將空間中的事件投影到平面上去最大化對比度，然而數學內容太復雜真的看不懂，

全域最優解計算

[2] [3] 兩篇論文，都是解決運動引數估計時陷入區域最優解的問題，如果在使用最大對比度函式進行計算運動引數時，需要有一個較好的引數初值，否則對于影像問題在優化時會陷入區域最優解，如下圖所示，左下角的運動引數就是區域最優解，
論文采用了分支定界（Branch-and-bound）的方法進行全域搜索，提出了某個區域的近似上界和下界，加速運算，

運動引數時間連續性

[4] 這篇論文提出，相機的運動應該是連續的，之前的方法只是針對每個積累圖進行一次優化得到運動引數，并沒有考慮與前后時刻的運動引數是否一致，

論文將一段兒時間內的運動引數設定為時變的，但這樣難以優化，所以不得不再次切片成多個更短的時間離散化，分別優化運動引數，同時增加一階導數作為懲罰項避免過擬合，保證引數變化的連續性，如下圖，待優化的運動引數是時變的 θ t \theta_t θt?，最后一項是引數的一階導，

這個想法讓人眼前一亮，從實驗結果上看，增加噪聲以后，考慮了時間上的連續性情況下的運動曲線更加平滑，

2. 建圖、場景識別與VIO

Frame+event的深度估計

[5] 使用了事件相機+傳統相機進行深度估計，作者指出這是第一個關于二者融合的深度估計，二者結合得到了時間上連續的稠密深度圖，

方法架構如上圖，stereo相機資料過來以后進行稠密重建，然后根據運動引數推測和收到的events在兩幀影像之間對depth圖進行更新，由于利用到了視差的資訊，論文提到這種方法更適合于平行于平面運動，但仍然不失為一種不錯的嘗試，畢竟這種方法補全了兩幀之間的深度圖，還是挺有趣的，

基于事件的場景識別

[6] 是我讀到的第一個event-based的場景識別的論文，時空視窗的選擇方式常見的有定事件數量或定時間，但無論如何事件只歸屬于一個視窗，而這篇論文采用了多種尺度的時間視窗，一個事件同時隸屬于多個視窗，然后通過已有的E2VID方法恢復到影像，再進行匹配，
如上圖的流程所示，第一個圖示意某一個時刻某一個事件可能同時歸屬于6個視窗（3種時間間隔、3種數量上限），之后所有的窗格恢復images，再分別提取特征，與之前關鍵位置的images進行比對，形成Ensemble matrix，最近的那個就是成功匹配，這種方法給出了一些近似方法，降低了比對的復雜度，這個方法還是比較有趣的，雖然感覺有點兒暴力，

利用線特征的VIO

[7] 這篇論文提出了一個IMU+DVS的VIO，大致看了一下主要是優化的點到線距離，

3. 基于Learning的一些研究

基于SNN的角速度估計

[8] 這篇論文采用SNN對3DoF的角速度進行估計，在此之前，SNN基本只用與做Event的分類問題，而沒有做過回歸（角速度估計是回歸問題），這篇論文表示做回歸問題也是可行的，同時比其他ANN的方法要好，

E2VID 視頻恢復

[9] 這篇論文是rpg組Henri Rebecq的作業，好像是在18年基礎上的改進，并公開了代碼，event資料流直接通過learning后轉成視頻，看著效果還是不錯的，應該比之前基于泊松的一些重建要方便許多，

4. 信號處理領域相關研究

降噪
2020降噪的研究有不少在我之前的一篇博客中有所總結：【事件相機整理】信號處理、噪聲與濾波，這里就不展開介紹，

資料編碼與壓縮
之前沒有注意，最近發現在github的event camera的匯總中出現了“Compression”相關的研究，以為是2020年才開始的，結果打開論文發現，[10][11]中已經指出了不少的研究，想簡單看一看發現實在是太深入了，之前研究傳統影像編碼與壓縮的方法，大量的用在event上面，真的是新的應用場景又養活了一批人，

壓縮與編碼目的：降低資料量，總線傳輸更快，降低存盤空間，IoT領域降低傳輸資料量
資料編碼與壓縮的主要衡量指標：壓縮率、編解碼速度、編解碼延時
方法比較的結果：壓縮率：LZMA（靜態），Spike（動態）； 編解碼速度：LZ4和Snappy；綜合性能：Brotli演算法

未完待續

有時間繼續補充，未完待續……

參考文獻

[1]. Urbano Miguel Nunes: Entropy Minimisation Framework for Event-based Vision Model Estimation.

[2]. Xin Peng: Globally-Optimal Event Camera Motion Estimation.

[3]. Liu, Daqi; Parra, álvaro; Chin, Tat-Jun (2020): Globally Optimal Contrast Maximisation for Event-based Motion Estimation. Available online at http://arxiv.org/pdf/2002.10686v3.

[4]. Xu, Jie; Jiang, Meng; Yu, Lei; Yang, Wen; Wang, Wenwei (2020): Robust Motion Compensation for Event Cameras With Smooth Constraint. In IEEE Trans. Comput. Imaging 6, pp. 604–614. DOI: 10.1109/TCI.2020.2964255.

[5]. Antea Hadviger: Stereo Dense Depth Tracking Based on Optical Flow using Frames and Events.

[6]. Fischer, Tobias; Milford, Michael (2020): Event-Based Visual Place Recognition With Ensembles of Temporal Windows. In IEEE Robot. Autom. Lett. 5 (4), pp. 6924–6931. DOI: 10.1109/LRA.2020.3025505.

[7]. Le Gentil, Cedric; Tschopp, Florian; Alzugaray, Ignacio; Vidal-Calleja, Teresa; Siegwart, Roland; Nieto, Juan (2020): IDOL: A Framework for IMU-DVS Odometry using Lines. Available online at http://arxiv.org/pdf/2008.05749v1.

[8]. Gehrig, Mathias; Shrestha, Sumit Bam; Mouritzen, Daniel; Scaramuzza, Davide: Event-Based Angular Velocity Regression with Spiking Networks. In IEEE International Conference on Robotics and Automation (ICRA). Available online at http://arxiv.org/pdf/2003.02790v1.

[9]. Rebecq, Henri; Ranftl, Rene; Koltun, Vladlen; Scaramuzza, Davide (2019): High Speed and High Dynamic Range Video with an Event Camera. In IEEE transactions on pattern analysis and machine intelligence PP. DOI: 10.1109/TPAMI.2019.2963386.

[10]. Khan, Nabeel; Iqbal, Khurram; Martini, Maria G. (2020): Lossless Compression of Data From Static and Mobile Dynamic Vision Sensors-Performance and Trade-Offs. In IEEE Access 8, pp. 103149–103163. DOI: 10.1109/ACCESS.2020.2996661.

[11]. Banerjee, Srutarshi; Wang, Zihao W.; Chopp, Henry H.; Cossairt, Oliver; Katsaggelos, Aggelos (2020): Quadtree Driven Lossy Event Compression. Available online at http://arxiv.org/pdf/2005.00974v1.