本文繼續圍繞下面這篇論文從試驗的角度決議基于Transformer采用Poly-Encoder的架構是如何來平衡模型的速度和質量表現,以及試驗中在模型表現和推理時間等方面Poly-encoder與Bi-encoder,Cross-encoder架構的對比等,

五、試驗部分
- 關于如何選擇context vectors
如下圖所示,有以下幾種方法來從最基本的Transformer的輸出(h 1 ctxt, ..., h N ctxt)推匯出context vectors(y 1 ctxt, ..., y m ctxt):
-對m個code(c1,…,cm)進行學習,如背景關系ci通過注意力機制和所有輸出(h 1 ctxt, ..., h N ctx
轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/387848.html
標籤:其他
下一篇:lamp 架構之lnmp架構
