論文筆記整理：潘銳，天津大學碩士，
鏈接：https://www.aaai.org/ojs/index.php/AAAI/article/view/6425
來 源：AAAI 2020
論文簡介
保持對話的一致性和避免內容重復是構建以知識為基礎的多輪對話系統的兩個關鍵因素，盡管一些作業傾向于將對話歷史與外部知識（如個人背景資訊）結合起來以提高對話質量，但它們往往忽略了將相同的知識多次融入對話會導致內容重復，這一現象的主要原因是缺乏對對話層面知識使用的有效控制，為此，本文設計了一種歷史自適應知識融合機制，構建了一種有效的多輪對話模型，通過反復更新知識并逐步將其融入歷史，來解決內容重復問題，
方法及模型
1、模型概述
模型由三部分組成：編碼器層、歷史適應層和輸出層，
首先，編碼器層使用Bi-GRU分別捕獲外部知識、歷史資訊和候選答案的背景關系資訊，之后利用self-attention機制識別重要資訊，忽略無關資訊，在歷史適應層中，反復更新外部知識，并逐步將其融入歷史，這不僅有助于歷史捕獲知識，而且可以動態更新基于歷史的知識，然后利用層次遞回網路提取序列資訊和背景關系資訊，最后，在輸出層中計算歷史記錄和候選回復的相似度，
2、編碼器層
編碼器層負責提取背景關系資訊，具體地說，知識資訊P、歷史資訊C和候選回答資訊A分別由編碼模塊處理，編碼模塊由一個Bi-GRU組件和一個self-attention組件組成，在不失去一般性的情況下,,
表示句子的嵌入矩陣，其中l是句子的個數，k 代表句子的長度,d 代表隱藏層的大小，
首先編碼到
, 然后用self-attention機制計算句子級表示，句子級表示更關注句子中的關鍵資訊，對于每個句子
：
3、歷史適應層
外部知識的控制和更新與對話的背景關系緊密相關，本文設計了一種新的門控機制來控制外部知識資訊向當前和下一輪對話的流動，一方面，該模塊將知識資訊集成到當前的對話中，獲得知識感知的表示，這樣有助于保持對話的一致性，另一方面，知識感知表示也有助于控制下一輪用于解決重復問題的知識更新，
歷史知識更新
假設知識資訊的初始狀態為，然后根據歷史資訊
回圈更新知識，動態更新路徑如下所示：
在步驟 t 更新外部知識如下：
這里使用U有兩個目的：1）控制流向下一輪的知識資訊，2）從話語層面選擇語意相關的知識資訊進行語境理解，
對于第一個目的，在和U之間進行非線性運算，得到新的表示形式，
然后，設計遺忘門來選擇新舊知識表示，
設計這種架構是考慮到對話的一致性和重復性，通過運用門控機制鼓勵選擇與當前對話語意相關的知識，避免選擇重復但不必要的知識，
對于第二個目的，將U標準化，對知識表示的每一個部分進行評分，得到知識感知的歷史表示，這種表示將外部知識結合起來，以保持一致性，然后更新外部知識并逐步將其融入歷史，
分層歷史資訊編碼器
使用來自編碼器層的不同GRU對背景關系歷史資訊進行編碼，并使用self-attention機制將重要資訊提取到一個向量上，編碼前，歷史（其中
）被送入GRU和self-attention結構，將最終有意義的歷史表示表示為O，
4、輸出層
輸出層負責計算歷史和候選回復的相似性，從候選回復中選擇背景關系一致的回復，
實驗
資料集：Persona-Chat和CMUDoG dataset
Baseline：KV profile Mmeory (Zhang et al. 2018)和Transformer (Mazaré et al. 2018)
實驗結果：
自動評價：用r@k和F1作為自動度量指標，
上表展示了在兩個資料集上的自動評價結果，可以看到與基線相比，本文的模型有了顯著的改進，r@k和F1的改進意味著所提出的模型能夠更好捕獲對話中的深層語意資訊，并從提供的回復中選擇更相關的回復，此外，模型對CMUDoG資料集的改進比Persona-Chat資料集的改進要大，原因可能是CMUDoG資料集包含更多的知識和更豐富的語意，歷史自適應知識更新機制可以更好地訓練，幫助對話有效地控制CMUDOG資料集上知識的使用，
人工評價：從重復性、一致性和相關性三個維度評價，
首先，本文的模型在人類評價方面優于基線，這表明了所提出的歷史子女適應機制的有效性，第二，本文的模型有效減少了重復，
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜資料的開放與互聯，促進知識圖譜和語意技術的普及和廣泛應用，
點擊閱讀原文，進入 OpenKG 網站，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/236022.html
標籤：AI
上一篇：為什么蘋果 M1 芯片如此之快？