一、Related work介紹
最近的研究多集中于在基于retrieval的多輪對話系統中，當一個包含多輪對話的背景關系被提供時，系統應該如何選擇最合適的回應，如使用BERT對背景關系序列進行編碼，產生一個dense vector，然后把這個vector同一組可選回應的矩陣進行相乘，比較它們的相關度，然后使用softmax得到概率分布，從而選出一個概率最高的作為系統的回應，在對比這些研究時發現，有一種方式是使用稱為IRC語料庫的基準資料集和一個基于RNN網路的模型，另一種方式是使用一種基于dual encoder的模型來試圖有效地對背景關系進行編碼和使用LSTM和CNN作為encoder對回應部分進行編碼，這里提到的dual encoder可以看做是有左右兩個encoder部分，使用左側對背景關系進行編碼，而使用右側對回應部分進行編碼，背景關系是指當前用戶和系統互動的內容，通過編碼形成一個dense vector，隨著注意力機制的出現，注意力機制被用于對話系統來選擇系統回應，譬如通過對話中的多個互動blocks來在背景關系和回應之間進行一種深度的互動，從而通過對話狀態控制器來改善訓練表現，
論文提到使用開源的BERT模型，具有12層，12個注意力頭，768維度的hidden state，BERT有兩個訓練目標：MLM和NSP，MLM使用掩碼機制來進行預測，而NSP是針對給定的兩個文本序列A和B，訓練模型來決定序列B是否在序列A之后（指位置是否“相鄰”），模型把A和B作為輸入并使用token [SEP] 進行分隔，然后使用segment embedding 的
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/379245.html
標籤：其他