最近做了一些和gnn相關的作業，經常聽到GCN 和 embedding 相關技術，感覺很是困惑，所以寫下此博客，對相關知識進行索引和記錄：
參考鏈接：
- https://www.toutiao.com/a6690680620642730510/ graph embedding 技術學習
- 如何理解 Graph Convolutional Network（GCN）: https://www.zhihu.com/question/54504471/answer/332657604
- 卷積神經網路的卷積核: https://www.zhihu.com/question/54504471/answer/332657604
- 圖卷積網路(GCN)新手村完全指南: https://zhuanlan.zhihu.com/p/54505069 真的不新手，
- 圖神經網路(GCN) 相關索引 https://www.jianshu.com/p/0d27f0816c09 很不錯的索引，和我博客目的一樣，值得參考；
- GCN代碼分析 https://www.jianshu.com/p/87e144d1a364 針對 GCN 代碼分析，說實話GCN我是沒有看懂，數學功底已經為零；
- 圖神經網路相關資料集搜集：https://www.jianshu.com/p/67137451b67f
- 圖神經網路相關實作（pytorch, dgl）：https://github.com/dmlc/dgl/tree/master/examples/pytorch
- 資料集相關的解釋：https://www.cnblogs.com/Ann21/p/11656824.html
- 淺析圖卷積神經網路
- 機器與人類視覺能力的差距 (王垠大牛的博客)
- DGL 你想知道的都在這里 : https://www.jiqizhixin.com/articles/2019-05-31
- https://www.jiqizhixin.com/articles/2019-05-31
- 《Graph Learning》| 第一章：繽紛的圖世界
- 《Graph Learning》| 圖傳播演算法（上）
- 《Graph learning》| 圖傳播演算法（下）
- 社區檢測與高密子圖挖掘 （對社區發現演算法中的模塊度的概念解釋得很好）
- https://www.mapequation.org/apps/MapDemo.html (Infomap 動態展示的demo，可以進行參考，有很多相關的社區發現資訊)
- 高密子圖挖掘
- 《Graph Learning》 | 異構資訊網路 (對于異構網路有很好的解釋，解釋了很多關于異構圖的概念)
- 《Graph Learning》| HIN-基于元路徑的相似度
- 《Graph learning》| HIN-基于元結構的相似度
- Graph Learning | 基于異構資訊網路的推薦系統
- 斯坦福大學機器學習課程
- http://web.stanford.edu/class/cs224w/ (神經網路課程相關 - 斯坦福大學課程)
- https://www.bilibili.com/video/av73701777?from=search&seid=7933622727539070498 （圖神經網路視頻課程）
- https://github.com/Jiakui/awesome-gcn github 上有人搜集的關于 gcn 相關的內容；
- GCN代碼分析 https://www.jianshu.com/p/ad528c40a08f
閱讀總結：
- 傳統方法：手工特征-分類器-輸出；
- 深度學習：深度神經網路-輸出；
- 深度學習減少了手工提取特征或規則的步驟，從原始資料中自動學習特征這種學習方式稱為端到端的學習（end-to-end）
- 歐幾里得空間，現實生活中不具備這種空間；
- 發射，接收，變換；
- 圖卷積神經網路具有卷積神經網路的以下性質：
- 區域引數共享，算子是適用于每個節點，處處共享；
- 感受域正比于層數，最開始的時候，每個節點包含了直接鄰居的資訊，再計算第二層時，就能把鄰居的鄰居的資訊包含進來；這樣參與運算的資訊就更多更充分，層數越多，感受域就更廣，參與運算的資訊就更多；
- GCN 模型具備深度學習的三種性質：
- 層級結構（特征一層一層抽取，一層比一層更抽象，更高級）；
- 非線性變換（增加模型的表達能力）
- 端到端的訓練（不需要再去定義任何規則，只需要給圖的節點一個標記，讓模型自己學習，融合特征資訊和結構資訊，）
- GCN 的四個特征：
- GCN 是卷積神經網路再graph domain 上的自然推廣；
- 它能夠同時對節點特征資訊與結構資訊進行端到端的學習，是目前對圖資料學習任務的最佳選擇；
- 圖卷積適用性較廣，適用于任意拓撲結構的節點與圖；
- 在節點分類與邊預測等任務上，在公開資料集上效果要遠遠優于其他方法；
- 圖資料的優勢：
- 給定一個節點，順著其邊的資訊，能快速找到它的鄰居節點；
- 圖的傳播性強，鄰居的鄰居也和自己關系緊密；相互之間聯系緊密的節點可以構成一個子圖或者子團；
- 一般在圖中尋找子團的任務為社群檢測（Community Detection）或者叫作高密子圖挖掘（Dense Subgraph Mining）；
- 圖傳播演算法的一般范式：經驗假設-無參量化-更新函式f；
- pagerank演算法；
- HITS 引入 Authority 和 hub值來 進行指導更新，推匯出節點權重，然后使用Authority 回傳給用戶，hub 作為中間指標，來指導authority值的精確計算；
- 如果研究的資料有大量的標記集，可以讓圖卷積等基于learning 的方法去進行監督學習；
- 社區檢測（Community Detection）和 高密子圖挖掘（Dense Subgraph Mining）；
- 我們在進行社區檢測的時候，節點都是同態的，型別都是一樣的；
- 模塊度：同很多無監督的據類演算法一樣，衡量指標是一個至關重要的因素，很多時候，我們只需要定義好這個指標，然后選擇啟發式的更新方法去不斷優化這個值；一個演算法的骨架就形成了；
- louvain 演算法，LPA演算法和Infomap演算法；
- louvain 演算法就是不斷優化模塊度指標，進行最大化模塊度評價函式；并且可以進行分層；當新的社區形成的時候，社區可以抽象為一個新的節點，然后在新的節點圖的基礎上進一步進行社區發現；從而更好得劃分社區；
- lpa 演算法，lap 演算法是一個極為簡單的圖傳播演算法，其經驗假設是以節點為中心；統計每個節點鄰居的社區，將出現最多次的社區賦給該節點，如果出現最多次的社區有多個則隨機選擇一個社區賦給該節點；由于該演算法存在隨機選擇的情況，所以會出現震蕩的現象；如果結合帶權重的圖，基于權重的排序，重新考慮基于權重排序的選擇方法；則會有很好的效果；
- infomap 結合資訊熵的概念，重新考慮轉移情況；并引出轉移概率和到達概率的概念，引出一個進入一個社區的概率，社區內節點轉移的概率，從某個社區中出來的概率，并結合資訊熵公式，引出平均位元計算的概念；
- 假設圖被劃分為m個社區，那么每走一步就可能是以下三種事件中的一種情況：進入某個社區，從某個社區中出來，在社區內部節點之間轉移；
- louvain 和 Infomap 演算法都是基于一個合理的全域衡量指標對社區的劃分不斷進行啟發式的優化，
- 如果通過據聚類的角度去看待社區檢測，那么一個基本的范式就是首先得到每個節點的特征表達，然后基于各種聚類演算法進行聚類；從而得到社區的劃分；
- Dense Subgraph Mining 高密子圖挖掘；
- HIN (Heterogeneous information Network) 異構資訊網路，為資料挖掘領域的前沿方向；
- 異構圖與同構圖的定義：
- Information network資訊網路被定義為一個帶有物件型別映射φ: V → A 和鏈接型別映射 ψ: E → R 的有向圖 G=(V,E) ，每個物件 v∈V 屬于某一個特定物件型別 φ（v）∈A，且每個鏈接 e∈E 屬于關系型別集合R：ψ（e）∈R 中的特定關系型別，如果兩個鏈接屬于相同的關系型別，這兩個鏈接共享相同的起始物件型別以及結束物件型別，
- Heterogeneous / Homogeneous information network如果一個資訊網路中，物件的型別總數 | A | > 1 或者鏈接的型別總數 | R | > 1，則稱這樣的網路為異構資訊網路 Heterogeneous Information Network；否則為同構資訊網路Homogeneous information network，
- 異構圖中的關鍵概念：
- Network schema 網路模式；網路模式是定義在物件型別和關系型別上的一個有向圖，是資訊網路的描述模板，網路模式全面地描述了HIN中的結構模式；
- Meta path 元路徑；元路徑是定義在網路模式上鏈接兩類物件的一條路徑；是整個HIN體系的核心，不同的元路徑，刻畫了物件之間不同的語意關系，這種語意關系的挖掘，是后續各類任務的基石；
- 相似度計算時資料挖掘領域的首要任務之一，它有益于后續最鄰近搜索，聚類，分類等相關任務；基于元路徑的相似度計算有以下幾個相關的方法：PathSim（對稱元路徑），HeteSim（非對稱元路徑）方法和AvgSim(針對非堆成元路徑的兩端物件的單向可達概率的均值)；
- 針對異構圖現有很多有效的演算法，真正的挑戰還是工程實作上所面臨的資料體量的問題；
- 基于元路徑可以初步完成資料相似度關系的挖掘，然而隨著更深層次的資料挖掘，更加細分的社群檢測或者更個性化的推薦等任務都需要對語意相似性有著更加深刻的挖掘；而基于元結構MetaStructure的相似度定義的方法，就可以滿足這樣的場景的任務需求，
- 基于元結構的有structcount 方法（結構計數）和SCSE-Structure Constrained Subgraph Expansion （分層隨機游走計算概率）來通過元接結構來進行挖掘異構資訊網路的資訊；另外還有 Meta Graph 這種相似度定義方式來使用特定的資料結構進行加速計算；
- 異構資訊網路的一個核心應用為推薦系統發向；相較于傳統的基于User-Item矩陣之上的方法，由于融合了更多的Side Information 以及以MetaPath為核心的計算體系，使得基于HIN的推薦系統不管是在效果上還是在可解釋性以及多樣性上，都能達到非常高的指標；
- HIN的基本方法摘錄：分析具體場景所要考慮的關系-融合所有關系構建HIN-基于元路徑或元結構計算相似度-先特征融合再進行分類器學習或者先學習分類器再進行集成，其中的難點在于關系的梳理和相似度計算所依賴的大規模矩陣運算的能力；
- 神經網路應該可以叫作可求導編程，神經網路，機器學習，深度學習就是利用微積分，梯度下降法，利用大量資料擬合出一個函式；這個函式可以用來做分類預測等功能；需要大量的計算，而本身gpu，tpu的出現等，就是為了加速運算的進行；
轉載請注明本文鏈接地址：https://www.cnblogs.com/xuyaowen/p/graph-embedding-gnns.html
保持更新，資源來源自網路；更多內容請關注 cnblogs.com/xuyaowen,了解更多內容；如果對您有幫助，歡迎點擊推薦按鈕進行推薦！
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/151663.html
標籤：Linux
下一篇：docker容器的基本使用