常見的對話系統
- 個人助手
?Apple Siri, Amazon Alexa, Baidu Xiaodu - 客戶服務?餐廳預定、商品咨詢、債務催收
- 休閑娛樂
?Microsoft XiaoIce,Replika
放域對話系統
- 檢索式系統
- 生成式系統
檢索式系統
生成模型
- Sequence-to-sequence
- Generative Pre-training Models
Sequence-to-sequence
Generative Pre-training Models
- BERT 使用了雙向注意力機制，每個token可以向左向右看到各個token
- GPT 使用了單向注意力機制（從左到右）,是一個生成模型，每個 token只能看到自己和前他面的詞，只能看到以前的，所以比較適合用來做生成任務，像平常說話也是一個詞一個詞的，Q：你有沒有養寵物，A:我有一只貓，
- PrefixLM (Unified Transformer)使用了編碼端雙向、生成端單向的注意力機制,適合開放域的對話任務
解碼策略
-
Greedy Decoding
-
Sampling-based Decoding
-
每一步，選取最可能的單詞(i.e. argmax)
-
把選取的單詞補充到input中，繼續下一步解碼
-
停止條件: 繼續解碼直到產生[EOS] 或者達到了事先定義的最大生成長度
Sampling-based Decoding
解碼策略–總結
- Greedy decoding 方法很簡單，但效果一般較差
- Sampling-baseddecoding可以得到更多樣化/隨機的回復
?比較適合于開放式/創造性的生成任務，像對話、詩詞、故事生成
?Top-k/p sampling 可以通過調節k/p，對生成的多樣性進行控制
對話評估
- 自動評估： BLEU、Distinct
- 人工評估
BLEU
Distinct
人工評估
開放域對話模型演進歷史
PLATO-2
總結及展望
視頻：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1493709&sharedType=2&sharedUserId=2631487&ts=1687157269113
課件：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1567921&sharedType=2&sharedUserId=2631487&ts=1687157254946
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/556421.html
標籤：其他
下一篇：返回列表