前言

近日筆者在閱讀Shift-GCN[2]的文獻，Shift-GCN是在傳統的GCN的基礎上，用Shift卷積算子[1]取代傳統卷積算子而誕生出來的，可以用更少的引數量和計算量達到更好的模型性能，筆者感覺蠻有意思的，特在此筆記，如有謬誤請聯系指出，轉載請聯系作者并注明出處，謝謝，

? \nabla ? 聯系方式：

e-mail: FesianXu@gmail.com

QQ: 973926198

github: https://github.com/FesianXu

知乎專欄: 計算機視覺/計算機圖形理論與應用

Shift-GCN是用于骨骼點序列動作識別的網路，為了講明其提出的背景，有必要先對ST-GCN網路進行一定的了解，

ST-GCN網路

骨骼點序列資料是一種天然的時空圖結構資料，具體分析可見[5,6]，針對于這型別的資料，可以用時空圖卷積進行建模，如ST-GCN[4]模型就是一個很好的代表，簡單來說，ST-GCN是在空間域上采用圖卷積的方式建模，時間域上用一維卷積進行建模，

骨骼點序列可以形式化表達為一個時空圖 G = ( V , E ) G = (V,E) G=(V,E)，其中有著 N N N個關節點和 T T T幀，骨骼點序列的輸入可以表達為 X ∈ R N × T × d \mathbf{X} \in \mathbb{R}^{N \times T \times d} X∈RN×T×d，其中 d d d表示維度，為了表示人體關節點之間的連接，我們用鄰接矩陣表達，按照ST-GCN原論文的策略，將人體的鄰接矩陣劃分為三大部分：1）離心群；2）向心群；3）根節點，具體的細節請參考論文[4]，每個部分都對應著其特定的鄰接矩陣 A p , p ∈ P \mathbf{A}_p, p\in\mathcal{P} Ap?,p∈P，其中 p p p表示劃分部分的索引，用符號 F ∈ R N × C \mathbf{F} \in \mathbb{R}^{N \times C} F∈RN×C和 F ′ ∈ R N × C ′ \mathbf{F}^{\prime} \in \mathbb{R}^{N \times C^{\prime}} F′∈RN×C′分別表示輸入和輸出的特征矩陣，其中 C C C和 C ′ C^{\prime} C′是輸入輸出的通道維度，那么，根據我們之前在GCN系列博文[7,8,9]中介紹過的，我們有最終的人體三大劃分的特征融合為：
F ′ = ∑ p ∈ P A ˉ p F W p (1.1) \mathbf{F}^{\prime} = \sum_{p \in \mathcal{P}} \bar{\mathbf{A}}_p \mathbf{F} \mathbf{W}_p \tag{1.1} F′=p∈P∑?Aˉp?FWp?(1.1)
其中 P = { 根 節 點 ， 離 心 群 ， 向 心 群 } \mathcal{P} = \{根節點，離心群，向心群\} P={根節點，離心群，向心群}， A ˉ p = Λ p ? 1 2 A p Λ p ? 1 2 ∈ R N × N \bar{\mathbf{A}}_p = \Lambda_p^{-\frac{1}{2}} \mathbf{A}_p \Lambda_p^{-\frac{1}{2}} \in \mathbb{R}^{N \times N} Aˉp?=Λp?21??Ap?Λp?21??∈RN×N是標準化后的鄰接矩陣，其中 Λ p i i = ∑ j ( A p i j ) + α \Lambda_p^{ii} = \sum_j(\mathbf{A}_p^{ij})+\alpha Λpii?=∑j?(Apij?)+α，具體這些公式的推導，見[7,8,9]，其中的 W p ∈ R 1 × 1 × C × C ′ \mathbf{W}_p \in \mathbb{R}^{1 \times 1 \times C \times C^{\prime}} Wp?∈R1×1×C×C′是每個人體劃分部分的1x1卷積核的引數，需要演算法學習得出，整個程序如Fig 1.1所示，

ST-GCN的缺點體現在幾方面：

1. 計算量大，對于一個樣本而言，ST-GCN的計算量在16.2GFLOPs，其中包括4.0GFLOPs的空間域圖卷積操作和12.2GFLOPs的時間一維卷積操作，
2. ST-GCN的空間和時間感知野都是固定而且需要人為預先設定的，有些作業嘗試采用可以由網路學習的鄰接矩陣的圖神經網路去進行建模[10,11]，即便如此，網路的表達能力還是受到了傳統的GCN的結構限制，

Shift-GCN針對這兩個缺點進行了改進，

Shift-GCN

這一章對Shift-GCN進行介紹，Shift-GCN對ST-GCN的改進體現在對于空間資訊（也就是單幀的資訊）的圖卷積改進，以及時序建模手段的改進（之前的作業是采用一維卷積進行建模的），

Spatial Shift-GCN

Shift-GCN是對ST-GCN的改進，其啟發自Shift卷積算子[1]，主要想法是利用1x1卷積算子結合空間shift操作，使得1x1卷積同時可融合空間域和通道域的資訊，具體關于shift卷積算子的介紹見博文[12]，此處不再贅述，采用shift卷積可以大幅度地減少引數量和計算量，如Fig 2.1所示，對于單幀而言，類似于傳統的Shift操作，可以分為Graph Shift和1x1 conv兩個階段，然而，和傳統Shift操作不同的是，之前Shift應用在圖片資料上，這種資料是典型的歐幾里德結構資料[7]，資料節點的鄰居節點可以很容易定義出來，因此卷積操作也很容易定義，而圖資料的特點決定了其某個資料節點的鄰居數量（也即是“度”）都可能不同，因此傳統的卷積在圖資料上并不管用，傳統的shift卷積操作也同樣并不能直接在骨骼點資料上應用，那么就需要重新在骨骼點資料上定義shift卷積操作，

作者在[2]中提出了兩種型別的骨骼點Shift卷積操作，分別是：

1. 區域Shift圖卷積（Local Shift Graph Convolution）
2. 全域Shift圖卷積（Global Shift Graph Convolution）

下文進行簡單介紹，

區域shift圖卷積

在區域shift圖卷積中，依然只是考慮了骨骼點的固有物理連接，這種連接關系與不同資料集的定義有關，具體示例可見博文[13]，顯然這并不是最優的，因為很可能某些動作會存在節點之間的“超距”關系，舉個例子，“拍掌”和“看書”這兩個動作更多取決于雙手的距離之間的變化關系，而雙手在物理連接上并沒有直接相連，

盡管區域shift圖卷積只考慮骨骼點的固有連接，但是作為一個好的基線，也是一個很好的嘗試，我們開始討論如何定義區域shift圖卷積，如Fig 2.2所示，為了簡便，我們假設一個骨架的骨骼點只有7個，連接方式如圖所示，不同顏色代表不同的節點，對于其中某個節點 v , v ∈ [ 1 , 7 ] v,v\in[1,7] v,v∈[1,7]而言，用 B v = { B v 1 , B v 2 , ? ? , B v n } B_v = \{B_v^1,B_v^2,\cdots,B_v^n\} Bv?={Bv1?,Bv2?,?,Bvn?}表示節點 v v v的鄰居節點，其中 n n n是 v v v鄰居節點的數量，類似于傳統的Shift卷積中所做的，對于每一個節點的特征向量 F v ∈ R C \mathbf{F}_v \in \mathbb{R}^{C} Fv?∈RC，其中 C C C是通道的數量，我們將通道均勻劃分為 n + 1 n+1 n+1份片區，也即是每一份片區包含有 c = ? C n + 1 ? c = \lfloor \dfrac{C}{n+1} \rfloor c=?n+1C??個通道，我們讓第一份片區保留本節點（也即是 v v v節點本身）的特征，而剩下的 n n n個片區分別從鄰居 B v 1 , B v 2 , ? ? , B v n B_v^1,B_v^2,\cdots,B_v^n Bv1?,Bv2?,?,Bvn?中通過平移（shift）操作得到，如式子(2.1)所示，用 F ∈ R N × C \mathbf{F} \in \mathbb{R}^{N \times C} F∈RN×C表示單幀的特征，用 F ~ ∈ R N × C \widetilde{\mathbf{F}} \in \mathbb{R}^{N \times C} F ∈RN×C表示圖資料shift操作之后的對應特征，其中 N N N表示節點的數量， C C C表示特征的維度，本例子中 N = 7 , C = 20 N = 7, C = 20 N=7,C=20，

F ~ v = F ( v , 0 : c ) ∣ ∣ F ( B v 1 , : 2 c ) ∣ ∣ F ( B v 2 , 2 c : 3 c ) ∣ ∣ ? ∣ ∣ F ( B v n , n c : ) (2.1) \widetilde{\mathbf{F}}_v = \mathbf{F}_{(v,0:c)} || \mathbf{F}_{(B_{v}^{1},:2c)} || \mathbf{F}_{(B_{v}^{2},2c:3c)} || \cdots ||\mathbf{F}_{(B_{v}^{n},nc:)} \tag{2.1} F v?=F(v,0:c)?∣∣F(Bv1?,:2c)?∣∣F(Bv2?,2c:3c)?∣∣?∣∣F(Bvn?,nc:)?(2.1)

整個例子的示意圖如Fig 2.2所示，其中不同顏色的節點和方塊代表了不同的節點和對應的特征，以節點1和節點2的shift操作為例子，節點1的鄰居只有節點2，因此把節點1的特征向量均勻劃分為2個片區，第一個片區保持其本身的特征，而片區2則是從其對應的鄰居，節點2中的特征中平移過去，如Fig 2.2的Shift for node 1所示，類似的，以節點2為例子，節點2的鄰居有節點4，節點1，節點3，因此把特征向量均勻劃分為4個片區，同樣第一個片區保持其本身的特征，其他鄰居節點按照序號升序排列，片區2則由排列后的第一個節點，也就是節點1的特征平移得到，類似的，片區3和片區4分別由節點3和節點4的對應片區特征平移得到，如Fig 2.2的Shift for node 2所示，最終對所有的節點都進行如下操作后，我們有 F ~ \widetilde{\mathbf{F}} F 如Fig 2.2的The feature after shift所示，

全域shift圖卷積

區域shift圖卷積操作有兩個缺點：

1. 只考慮物理固有連接，難以挖掘潛在的“超距”作用的關系，
2. 資料有可能不能被完全被利用，如Fig 2.2的節點3的特征為例子，如Fig 2.3所示，節點3的資訊在某些通道遺失了，這是因為不同節點的鄰居數量不同，

為了解決這些問題，作者提出了全域Shift圖卷積，如Fig 2.4所示，其改進很簡單，就是去除掉物理固有連接的限制，將單幀的骨骼圖變成完全圖，因此每個節點都會和其他任意節點之間存在直接關聯，給定特征圖 F ∈ R N × C \mathbf{F} \in \mathbb{R}^{N \times C} F∈RN×C，對于第 i i i個通道的平移距離 d = i ? m o d ? N d = i \bmod N d=imodN，這樣會形成類似于螺旋狀的特征結構，如Fig 2.4的The feature after shift所示，

為了挖掘骨骼完全圖中的人體關鍵資訊，把重要的連接給提取出來，作者在全域shift圖卷積基礎上還使用了注意力機制，如式子(2.2)所示，
F ~ M = F ~ ° ( tanh ? ( M ) + 1 ) (2.2) \widetilde{F}_M = \widetilde{F} \circ (\tanh(\mathbf{M})+1) \tag{2.2} F M?=F °(tanh(M)+1)(2.2)

Temporal Shift-GCN

在空間域上的shift圖卷積定義已經討論過了，接下來討論在時間域上的shift圖卷積定義，如Fig 2.5所示，考慮到了時序之后的特征圖層疊結果，用符號 F ∈ R T × N × C \mathbf{F} \in \mathbb{R}^{T \times N \times C} F∈RT×N×C表示時空特征圖，其中有 F = { F 1 , F 2 , ? ? , F T } \mathbf{F} = \{\mathbf{F}^1,\mathbf{F}^2,\cdots,\mathbf{F}^{T}\} F={F1,F2,?,FT}，這種特征圖可以天然地使用傳統的Shift卷積算子，具體程序見[12]，我們稱之為naive temporal shift graph convolution，在這種策略中，我們需要將通道均勻劃分為 2 u + 1 2u+1 2u+1個片區，每個片區有著偏移量為 ? u , ? u + 1 , ? ? , 0 , ? ? , u ? 1 , u -u,-u+1,\cdots,0,\cdots,u-1,u ?u,?u+1,?,0,?,u?1,u，與[12]策略一樣，移出去的通道就被舍棄了，用0去填充空白的通道，這種策略需要指定 u u u的大小，涉及到了人工的設計，因此作者提出了adaptive temporal shift graph convolution，是一種自適應的時序shift圖卷積，其對于每個通道，都需要學習出一個可學習的時間偏移引數 S i , i = 1 , 2 , ? ? , C S_i,i=1,2,\cdots,C Si?,i=1,2,?,C，如果該引數是整數，那么無法傳遞梯度，因此需要放松整數限制，將其放寬到實數，利用線性插值的方式進行插值計算，如式子(2.3)所示，
F ~ ( v , t , i ) = ( 1 ? λ ) ? F ( v , ? t + S i ? , i ) + λ ? F ( v , ? t + S i ? + 1 , i ) (2.3) \widetilde{F}_{(v,t,i)} = (1-\lambda)\cdot \mathbf{F}_{(v, \lfloor t+S_i \rfloor, i)}+\lambda\cdot\mathbf{F}_{(v, \lfloor t+S_i\rfloor+1,i)} \tag{2.3} F (v,t,i)?=(1?λ)?F(v,?t+Si??,i)?+λ?F(v,?t+Si??+1,i)?(2.3)
其中 λ = S i ? ? S i ? \lambda = S_i - \lfloor S_i\rfloor λ=Si???Si??是由于將整數實數化之后產生的余量，需要用插值的手段進行彌補，由于實數化后，錨點落在了 [ ? t + S i ? , ? t + S i ? + 1 ] [\lfloor t+S_i\rfloor, \lfloor t+S_i\rfloor+1] [?t+Si??,?t+Si??+1]之間，因此在這個區間之間進行插值，

網路

結合spatial shift-gcn和temporal shift-gcn操作后，其網路基本單元類似于ST-GCN的設計，如Fig 2.6所示，

Reference

[1]. Wu, B., Wan, A., Yue, X., Jin, P., Zhao, S., Golmant, N., … & Keutzer, K. (2018). Shift: A zero flop, zero parameter alternative to spatial convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 9127-9135).

[2]. Cheng, K., Zhang, Y., He, X., Chen, W., Cheng, J., & Lu, H. (2020). Skeleton-Based Action Recognition With Shift Graph Convolutional Network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 183-192).

[3]. https://fesian.blog.csdn.net/article/details/109474701

[4]. Sijie Yan, Yuanjun Xiong, and Dahua Lin. Spatial temporal graph convolutional networks for skeleton-based action
recognition. In Thirty-Second AAAI Conference on Artificial
Intelligence, 2018.

[5]. https://fesian.blog.csdn.net/article/details/105545703

[6]. https://blog.csdn.net/LoseInVain/article/details/87901764

[7]. https://blog.csdn.net/LoseInVain/article/details/88373506

[8]. https://fesian.blog.csdn.net/article/details/90171863

[9]. https://fesian.blog.csdn.net/article/details/90348807

[10]. Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Skeleton-based action recognition with directed graph neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7912–7921, 2019

[11]. Lei Shi, Yifan Zhang, Jian Cheng, and Hanqing Lu. Two stream adaptive graph convolutional networks for skeleton based action recognition. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[12]. https://fesian.blog.csdn.net/article/details/109474701

[13]. https://fesian.blog.csdn.net/article/details/108242717