ICDM論文：探索跨會話資訊感知的推薦模型

會話推薦是推薦領域的一個子分支, 美團平臺增長技術部也在該領域不斷地進行探索，不久前，該部門提出的跨會話資訊感知的時間卷積神經網路模型CA-TCN被國際會議ICDM NeuRec Workshop 2020接收，本文會對論文中的CA-TCN模型進行介紹，希望能對從事相關作業的同學有所幫助或者啟發，

ICDM的全稱International Conference on Data Mining，是由IEEE舉辦的世界頂級資料挖掘研究會議，該會議涵蓋了統計、機器學習、模式識別、資料庫、資料倉庫、資料可視化、基于知識的系統和高性能計算等資料挖掘相關領域，其中ICDM NeuRec Workshop旨在從應用和理論角度系統地討論推薦系統的淺層和深層神經演算法的最新進展，該Workshop征集了有關開發和應用神經演算法和理論以構建智能推薦系統的最新且重要的貢獻，

背景

在大資料時代，推薦系統作為系統中的基礎架構，開始扮演著越來越重要的角色，推薦系統可以為用戶挑選出自己感興趣的商品或者內容，從而來減少因資訊爆炸帶來的一些影響，目前，業界提出的很多推薦模型取得了巨大的成功， 但是大部分推薦方法常常是需要根據明確的用戶畫像資訊進行推薦，然而在一些特定的領域，用戶畫像的資訊有可能無法被利用，

為了解決這個問題， 會話推薦（Session-based Recommendation）任務被提了出來，會話推薦任務是根據用戶在當前會話的行為序列去預測用戶的下一個行為，而不需要依賴任何的用戶畫像資訊[1]，目前，會話推薦任務已廣泛應用于多個領域，例如下一個網頁推薦、下一個POI推薦、下一個商品推薦等等，為了覆寫多個領域，所以“會話”的概念不僅限于交易，而是指一次或者一定時期內的消費或者訪問的元素集合，

每一個會話（Session）都是一個item的轉移序列，所以會話推薦任務可以很自然地被視為序列推薦任務，基于回圈神經網路（RNN）的會話推薦模型[2]是應用的主流模型，但是基于RNN模型只對item之間的連續單向轉移關系進行建模，而忽略了會話中其他item之間的轉移關系，隨著圖神經網路的熱點爆發，基于圖結構的會話推薦模型如SR-GNN[3]、GC-SAN[4]被提出來，希望能夠克服該點不足，基于圖結構的會話推薦模型將會話的item轉移序列構建成一個圖結構，然后應用圖神經網路模型來探索多個item之間復雜的轉移關系，目前，基于圖結構的會話推薦模型已經成為了State-of-the-art的解決方法，但它們仍然具有一定的限制， 觀察如下：

• 觀察 1：幾乎所有現存的會話推薦方法都僅僅關注于會話的內部資訊，而忽略了跨會話的外部資訊 （跨會話的相互影響），跨會話資訊往往包含著非常有價值的補充資訊，有利于更準確地推斷當前會話的用戶偏好，如下圖所示，以Session 3中的Item_3 Airpods為例， 現存的方法僅僅關注當前會話Session3中的Item_9對Item_3的影響而忽略了其他會話的影響，對于Session1而言, 用戶可能具有買耳機的意圖而進行同品類比較，所以item_2和item_4會對item_3產生一個品類的影響；對于Session 2而言, 用戶可能比較喜歡Apple品牌，所以item_5和item_6會對item_3產生一個品牌的影響，根據上面的觀察可知，在Item_Level層次的跨會話影響對于更好地推斷item的全域表示至關重要，同時，不同的會話之間也可能具有相似的用戶意圖和行為模式， 所以對于Session-Level的跨會話影響對于更準確地預測用戶在當前會話中的下一個動作也起著非常重要的作用，

  

• 觀察 2：基于圖結構的會話推薦方法在構建圖的程序中，將出現在不同時間步的相同item都視為一個相同節點，這樣會丟失序列中的位置資訊，以至于不同的序列會話構建出的Session圖結構是完全相同的，例如兩個不同的會話Session S1:v_i-->v_j-->v_i-->v_k-->v_j-->v_k 與Session S2: v_i-->v_j-->v_k-->v_j-->v_i-->v_k，在下圖2中，它們對應的圖結構是完全相同的，這不可避免地限制了模型獲得準確會話表示的能力，此外，在會話圖構造中，僅僅直接連接的兩個相鄰item之間會建立邊，意味著只有在當前item之前最后點擊的item才是當前item的一階鄰居，如圖2所示，但出現在一個相同會話中，即使沒有被連續點擊的item之間也具有一定的聯系，所以圖結構對于保留序列的長期依賴性具有有限的能力，相反，對于時序卷積神經網路（TCN）[5]模型，Causal Convolution使當前item的接受域中的items都可以直接作為一階鄰居進行卷積，并且具有的Dilated Convolution使得較遠的items也可以直接作為一階鄰居對其產生影響，

  

相關作業介紹

現有的會話推薦方法大致可以分為兩類， 分別是基于協同過濾方法和基于深度學習方法：

• 基于協同過濾方法：協同過濾方法是在推薦系統中被廣泛使用的通用方法，協同過濾方法主要可以分為兩大類：基于KNN查找方法和基于相似度建模方法，基于KNN查找方法是通過查找Top-K個相關的users或items來實作推薦，基于KNN查找方法可以通過查找與當前會話中最后一個item最相似的item來實作基于會話的推薦，最近，KNN-RNN[6]探索將RNN模型與KNN模型相結合，通過RNN模型來提取會話序列資訊，然后查找在與當前Session相似的Session中出現的item來實作推薦，對于基于相似度建模的方法，CSRM[7]通過記憶網路將距離當前會話時間最近的m個會話中包含的相關資訊進行建模，從而來獲得更為準確的會話表示，以提高會話推薦的性能，

• 基于深度學習方法：深度學習方法憑借其強大的特征學習能力在多個領域獲得了令人滿意的成果，對于會話推薦任務而言，回圈神經網路RNN是一個直觀的選擇，可以利用其提取序列特征的優勢來捕獲會話內復雜的依賴關系，GRU4Rec[2]利用門控回圈單元（GRU）作為RNN的一種特殊形式來學習item之間的長期依賴性，以預測會話中的下一個動作，之后的一些作業，是通過在基于RNN模型的基礎上增加注意力機制和記憶機制等對模型進行了改進和擴展，其中NARM[8]探索了一種具有注意力機制的層次編碼器，可以對當前會話中用戶的序列行為和主要意圖進行建模，最近， 隨著圖神經網路模型的飛速發展，出現了依賴圖結構的會話推薦模型，SR-GNN首先提出將每個會話映射為一個圖結構，并利用圖神經網路模型GNN來建模item之間的復雜轉移關系，之后，GC-SAN通過加入Self-Attention機制進一步擴展了SR-GNN模型，從而成為了State-of-the-art的解決方法，

CA-TCN模型與現有方法都存在著明顯的差異，一方面，CA-TCN探索Item-Level和Session-Level的跨會話影響，以提高推薦性能，與其他的協同過濾方法的區別有兩個：1. CA-TCN同時考慮了跨會話資訊對item和Session不同層次的影響，而CSRM僅僅考慮了Session層次，2. CA-TCN構建了跨會話的全域Cross-Session item圖和Session-Context圖，通過GNN來探索復雜的跨會話影響，另一方面，與基于RNN和基于GNN的模型相比，CA-TCN模型克服了RNN模型無法并行以及圖結構缺失位置和長期依賴資訊的不足，

跨會話感知的時間卷積神經網路模型（CA-TCN）

1. 模型整體框架

網路的整體框架如下圖3所示，給定會話序列資料，首先，我們構造一個Cross-Session Item-Graph來鏈接出現在不同會話中且有關系的items， 然后經過圖神經網路輸出包含全域資訊的item向量，將得到的item向量輸入到TCN模型中輸出蘊含會話序列資訊的item表示，根據Item-Level Attention機制來整合item的表示進而獲得Session表示，此后，根據Session表示之間的相似度構建Session-Context Graph圖以對Session層次的跨會話關系進行建模，最后，根據Session的表示以及item的表示進行預測，

2. 跨會話Item圖（Cross-Session Item-Graph）

在第一階段，我們構建Cross-Session Item-Graph有向圖G_ item，其中圖中的每個節點代表一個item，（v_s_i, v_s_i+1）作為一條邊，代表在會話s中用戶在v_s_i之后點擊了v_s_i+1，與現有方法相比，跨會話的G_item圖能夠在所有的會話中出現的item之間建立鏈接， 因此G_item不僅可以獲取會話的內部資訊，同時可以得到非當前會話的外部資訊，G_item的圖的核心在于將所有的item放在了一起通盤考慮，然后用各個會話中的點擊行為給item之間建立鏈接，不同會話的點擊資訊匯總在一起使得item之間的關系連接更加豐富，

為了充分利用G_item圖結構中的資訊，CA-TCN將item的點擊順序和共現次數考慮在內，對于點擊順序，建立帶有方向的鄰接矩陣A_in和A_out來建模輸入和輸出方向，在鄰接矩陣的基礎上，根據item之間的共現次數為不同的邊設定不同的權重，得到權重矩陣Weight_in和Weight_out，通過分配不同的權重，具有更多共現次數的item將發揮更大的作用，反之亦然，從而避免了噪音影響，

接下來，我們開發GNN模型來捕捉復雜的跨會話資訊在item__level的影響，GNN將每一個item映射為一個d維的embedding v∈R^d，得到包含跨會話資訊的全域item向量（item_vector），

3. 時間卷積神經網路模型（TCN Model）

在第二階段，我們采用時間卷積神經網路TCN來對會話序列進行建模，獲取會話s的全域和區域表示，每一個會話s由多個item組成，輸入會話s包含的item全域向量化表示（item_vector）到時間卷積神經網路（TCN）模型中，對于會話中的每一個item進行因果和膨脹卷積的計算，進行會話序列資訊的抽取，

采用會話中最后一個item的TCN輸出作為會話s的區域（local）資訊，以正確獲取用戶的當前興趣：

此外，采用會話s包含的items的表示以加權求和的方式得到會話的全域（global）表示（session_vector），捕捉用戶的全域資訊，其中為了區分不同的item對于會話的影響程度不同，采用item層次注意力機制，使得會話表示更加專注于重要程度高的items，

4. 會話背景關系感知圖（Session-Context-Graph）

會話的local表示和global表示只專注于當前的會話，而忽略了會話間的影響，為了克服該不足，我們構建一個背景關系感知的會話圖結構（Session-Context-Graph）來考慮不同會話之間復雜的關系，

在會話圖中，每一個節點代表一個會話s, 邊的鏈接代表兩個會話之間具有相似性，我們需要考慮的一個重要問題是如何決定一條邊是否存在，對于每一對會話，我們計算其二者表示的相似度，然后采用根據相似度值的KNN-Graph[9] 模型來決定一個會話節點的鄰居，在構建會話圖結構之后，我們采用會話層的注意力機制以及圖神經網路模型[10]來整合會話鄰居節點對其自身的影響，同時會話層的注意力將會話之間的相似度也考慮在內，最終得到基于會話背景關系敏感的會話表示，

5. 點擊預測

為了更好地預測用戶的下一個行為，我們采用融合函式將會話的區域表示，全域表示以及基于跨會話資訊的表示進行融合，得到最終的會話表示：

最后，我們根據item和session的表示去預測每一個候選item成為用戶下一個點擊的概率，根據概率進行逆序排序，篩選出概率值排在前預設位數對應的商品，作為用戶偏好商品并進行推薦，

實驗評估

為了評估所提出的CA-TCN的性能，我們使用了兩個廣泛應用的基準資料集，即Yoochoose和Diginetica， 模型性能評估結果如下表所示，CA-TCN優于目前的基于RNN以及圖結構的State-of-the-art解決方法，

此外，我們進行消融實驗以評估CA-TCN中每個組成部分的影響，組成部分包括TCN模型，Cross-Session Item-Graph和Session-Context graph，下圖的實驗結果證明了CA-TCN通過利用TCN模型和跨會話資訊在會話推薦任務上都實作了性能的逐步提升，

• CA-TCN(ca.exl)：是CA-TCN的變體，它僅包含時間卷積神經網路、Cross-Session Item-Graph和Session-Context graph的跨會話資訊不包含在內，

• CA-TCN(sc.exl)：是CA-TCN的變體，其中包含了Cross-Session Item-Graph的item-level的跨會話資訊，但不包括session-level的Cross-Session Item-Graph，

未來作業

目前該論文已經申請了專利，后續我們將在美團多個業務線的會話推薦和序列推薦任務上進行探索落地，特別地， CA-TCN模型在電商資料集Yoochoose上進行了性能驗證，證明CA-TCN模型適用于具有商品屬性的電商場景，未來在“團好貨”和“美團優選”等具有商品屬性的業務線中都可以嘗試應用，

參考文獻

[1]. S. Wang, L. Cao, and Y. Wang, “A survey on session-based recommender systems,”arXiv preprint arXiv:1902.04864, 2019.

[2]. B. Hidasi, A. Karatzoglou, L. Baltrunas, and D. Tikk, “Session-based recommendations with recurrent neural networks,”arXiv preprintarXiv:1511.06939, 2015.

[3].S. Wu, Y. Tang, Y. Zhu, L. Wang, X. Xie, and T. Tan, “Session-based recommendation with graph neural networks,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 2019, pp. 346–353.

[4]. C. Xu, P. Zhao, Y. Liu, V. S. Sheng, J. Xu, F. Zhuang, J. Fang, and X. Zhou, “Graph contextualized self-attention network for session-based recommendation.” inIJCAI, 2019, pp. 3940–3946.

[5]. S. Bai, J. Z. Kolter, and V. Koltun, “An empirical evaluation of generic convolutional and recurrent networks for sequence modeling,”arXivpreprint arXiv:1803.01271, 2018.

[6]. D. Jannach and M. Ludewig, “When recurrent neural networks meet the neighborhood for session-based recommendation,” inRecSys ’17, 2017.

[7]. M. Wang, P. Ren, L. Mei, Z. Chen, J. Ma, and M. de Rijke, “A collaborative session-based recommendation approach with parallel memory modules,” in Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019, pp. 345–354.

[8].J. Li, P. Ren, Z. Chen, Z. Ren, T. Lian, and J. Ma, “Neural attentive session-based recommendation,” in Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, 2017, pp. 1419–1428.

[9]. W. Dong, C. Moses, and K. Li, “Efficient k-nearest neighbor graph construction for generic similarity measures,” in Proceedings of the 20thinternational conference on World wide web, 2011, pp. 577–586.

[10].P. Veliˇckovi ?c, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph attention networks,”arXiv preprint arXiv:1710.10903, 2017.

作者資訊

本文作者葉蕊、張慶、恒亮，均來自美團平臺增長技術部，

---------- END ----------

招聘資訊

美團用戶增長技術部，美團用戶增長核心團隊，長期招聘搜索、推薦、NLP演算法及后臺工程師，坐標北京，感興趣的同學可投遞簡歷至：luohengliang@meituan.com（郵件主題請注明：美團用戶增長技術部），

也許你還想看

| CIKM 2020 | 一文詳解美團6篇精選論文

| ACM MM頂會論文 | 對話任務中的“語言-視覺”資訊融合研究

| 推薦演算法實踐