如何在圖資料庫中訓練圖卷積網路模型

在圖資料庫中訓練GCN模型，可以利用圖資料庫的分布式計算框架現實應用中大型圖的可擴展解決方案

什么是圖卷積網路？

典型的前饋神經網路將每個資料點的特征作為輸入并輸出預測，利用訓練資料集中每個資料點的特征和標簽來訓練神經網路，這種框架已被證明在多種應用中非常有效，例如面部識別，手寫識別，物件檢測，在這些應用中資料點之間不存在明確的關系，但是，在某些使用情況下，當v（i）與v（i）之間的關系不僅僅可以由資料點v（i）的特征確定，還可以由其他資料點v（j）的特征確定， j）給出，例如，期刊論文的主題（例如計算機科學，物理學或生物學）可以根據論文中出現的單詞的頻率來推斷，另一方面，在預測論文主題時，論文中的參考文獻也可以提供參考，在此示例中，我們不僅知道每個單獨資料點的特征（詞頻），而且還知道資料點之間的關系（引文關系），那么，如何將它們結合起來以提高預測的準確性呢？

通過應用圖卷積網路（GCN），單個資料點及其連接的資料點的特征將被組合并饋入神經網路， 讓我們再次以論文分類問題為例， 在引文圖中（圖1），每論文都用引文圖中的頂點表示， 頂點之間的邊緣代表參考關系， 為了簡單起見，將邊緣視為未定向， 每篇論文及其特征向量分別表示為v_i和x_i， 遵循Kipf和Welling [1]的GCN模型，我們可以使用具有一個隱藏層的神經網路通過以下步驟來預測論文的主題：

圖1.圖卷積網路的體系結構，每個頂點vi在參考圖中代表一個論文，xi是vi的特征向量，W（0）和W（1）是3層神經網路的權重矩陣， ，D和I分別是細分矩陣，out度矩陣和恒等矩陣，水平和垂直傳播分別以橙色和藍色突出顯示，

在上述作業流程中，步驟1和步驟4執行水平傳播，其中每個頂點的資訊都傳播到它的鄰居， 第2步和第5步執行垂直傳播，其中每一層的資訊都傳播到下一層， （見圖1）對于具有多個隱藏層的GCN，水平和垂直傳播將進行多次迭代， 值得注意的是，每次執行水平傳播時，頂點資訊都會在圖中進一步單跳傳播， 在此示例中，水平傳播執行了兩次（步驟2和4），因此每個頂點的預測不僅取決于其自身的特征，而且還取決于距其2跳距離內的所有頂點的特征， 另外，由于權重矩陣W（0）和W（1）由所有頂點共享，因此神經網路的大小不必隨圖的大小而增加，這使此方法可伸縮，

為什么需要GCN的圖形資料庫

通過合并每個頂點的圖形特征，GCN可以以低標簽率實作高精度，在Kipf和Welling的作業中[1]，使用圖形中5％的標記頂點（物體）可以獲得80％的精度，考慮到整個圖在傳播程序中需要參與計算，訓練GCN模型的空間復雜度為O（E + V * N + M），其中E和V是圖中的邊和頂點數量N是每個頂點的特征數量，M是神經網路的大小，

對于工業應用，圖可以具有數億個頂點和數十億條邊，這意味著在模型訓練期間，鄰接矩陣A，特征矩陣X和其他中間變數（圖1）都可能消耗數TB的記憶體，可以通過在圖資料庫（GDB）中訓練GCN來解決這種挑戰，在該資料庫中，圖可以分布在多節點群集中并部分存盤在磁盤上，此外，首先將圖結構的用戶資料（例如社交圖，消費圖和移動圖）存盤在資料庫管理系統中，資料庫內模型訓練還避免了將圖形資料從DBMS匯出到其他機器學習平臺，從而更好地支持了不斷發展的訓練資料的連續模型更新，

如何在圖形資料庫中訓練GCN模型

在本節中，我們將在TigerGraph云上（免費試用）提供一個圖資料庫，加載一個參考圖，并在資料庫中訓練GCN模型，按照以下步驟操作，您將在15分鐘內得到一個論文分類模型，

我們使用GraphStudio作為入門的工具，我們使用CORA資料集（https://relational.fit.cvut.cz/dataset/CORA）

Cora資料集包含三個檔案：

cite.csv具有三列，paperA_id，paperB_id和weight， 前兩列用于在論文之間創建CITE邊緣， 查詢將在以下步驟中更新CITE邊緣上的權重，因此不需要加載最后一列， 應該注意的是，該入門工具包中的檔案在每篇論文中都添加了自鏈接，以簡化查詢的實作， 這與Kipf和Welling [1]的方法是一致的，

paper_tag.csv具有兩列，paper_id和class_label， 該檔案中的每一行都將用于創建一個PAPER頂點，其中包含從檔案填充的論文ID和論文類別，

content.csv具有三列，paper_id，word_id和weight， 前兩列用于在論文和文字之間創建HAS邊緣， HAS邊緣將用于存盤稀疏詞袋特征向量， 查詢將在以下步驟中更新HAS邊緣上的權重，因此不需要加載最后一列，

轉到“加載資料”頁面，然后單擊“開始/繼續加載”， 加載完成后，您可以在右側看到圖形統計資訊， Cora資料集包含2708篇論文，1433個不同的單詞（特征向量的維數）和7986個參考關系， 每篇論文都用7種不同類別中的1種標記，

在“瀏覽圖”頁面中，您可以看到我們剛剛在參考圖的頂部創建了一個神經網路， 參考圖中的每篇論文都連接到多個單詞， 因此，HAS邊緣上的權重形成一個稀疏特征向量， 1433個不同的詞連接到隱藏層中的16個神經元，而隱藏層連接到輸出層中的7個神經元（代表7個不同的類），

在“寫查詢”頁面中，您將找到GCN所需的查詢已添加到資料庫中， 查詢使用TigerGraph的查詢語言GSQL撰寫， 單擊“安裝所有查詢”以將所有GSQL查詢編譯為C ++代碼， 您也可以在此頁面上看到自述查詢， 請按照以下步驟訓練GCN，

運行初始化查詢

此查詢首先通過將論文i和j之間的權重分配為e_ij = 1 /（d_i * d_j）來歸一化CITE邊緣上的權重，其中d_i，d_j是論文i和論文j的CITE輸出度， 其次，通過將論文p和單詞w之間的權重分配為e_pw = 1 / dp來歸一化HAS邊緣上的權重，其中dp是論文w的HAS出度， 第三，它對140、500和1000個論文頂點進行采樣，以進行測驗，驗證和訓練，

運行weight_initialization查詢

該查詢使用Glorot和Bengio [2]的方法初始化神經網路的權重，該神經網路在輸入層中有1433個神經元對應于詞匯的大小，在隱藏層中有16個神經元，在輸出層中有7個神經元，對應于論文的7類，

運行訓練查詢

該查詢使用與Kipf和Welling [1]中使用的相同的超引數訓練圖卷積神經網路，具體而言，使用第一層的交叉熵損失，dropout和L2正則化（5e-4）評估模型， Adam優化器已在此查詢中實作，并且批次梯度下降用于訓練，查詢結束后，將顯示在訓練和驗證資料上評估的損失以及在測驗資料上評估的預測準確性，如訓練查詢的輸出所示，經過5個訓練輪次后，準確性達到53.2％，可以將輪次數設定為查詢輸入，以提高準確性，

運行預測查詢

該查詢將訓練完成的GCN應用于圖表中的所有論文，并可視化結果，

GSQL查詢概述

在上一節中，我們將深入探討這些查詢，以了解TigerGraph的大規模并行處理框架如何支持訓練GCN， 簡而言之，TigerGraph將每個頂點視為可以存盤，發送和處理資訊的計算單元， 我們將在查詢中選擇一些陳述句，以說明如何執行GSQL陳述句，

SELECT陳述句：

我們先來看一下查詢初始化， 第一行將初始化包含圖形中所有PAPER頂點的頂點集Papers， 在下一個SELECT陳述句中，我們將從頂點集Papers開始，并遍歷所有CITE邊， 對于每個邊緣（由e表示），其邊緣權重是根據其源頂點（由s表示）和目標頂點（由t表示）的平行度來計算的，

ACCUM和POST-ACCUM

現在，讓我們看一下查詢訓練， 正如我們在上一節中討論的那樣，水平傳播是我們從每個頂點向相鄰頂點發送資訊的地方，這是通過ACCUM之后的行完成的， 它將每個目標頂點的特征向量（稱為t，@ z_0）計算為其源頂點的特征向量（稱為s.zeta_0）并按e.weight加權， 下一個POST-ACCUM塊進行垂直傳播， 它首先將ReLU激活函式和輟學正則化應用于每個頂點上的特征向量， 然后，它將隱藏層要素（稱為s.z_z_0）傳播到輸出層， 同樣，TigerGraph將針對邊和頂點并行化ACCUM和POST-ACCUM塊中的計算，

用戶定義的功能

激活函式用C ++實作，并匯入到TigerGraph用戶定義的函式庫中， 下面是ReLU函式（ReLU_ArrayAccum）的實作

結論

在圖資料庫中訓練GCN模型利用了圖資料庫的分布式計算框架， 它是現實應用中大型圖的可擴展解決方案， 在本文中，我們將說明GCN如何將每個節點的特征與圖特征結合起來以提高圖中的節點分類的準確性， 我們還展示了使用TigerGraph云服務在引文圖上訓練GCN模型的分步示例，

參考

[1] Thomas. N. Kipf and Max Welling, ICLR (2017)

[2] Glorot and Bengio, AISTATS (2010)

作者：Changran Liu

deephub翻譯組