模型在驗證集（開發集）上的效果比在測驗集上好，或者說，測驗集上的效果不如驗證集，這個時候該怎么辦？
這可以理解為模型對驗證集過擬合了，模型在驗證集上的效果并不能代表模型的實際泛化能力，
這個時候，可以做的：
1）檢查驗證集和測驗集是不是同一分布，驗證集應該更像測驗集而不是訓練集，
2）換個驗證集，或者增大驗證集，
3）檢查代碼是不是有問題，驗證集是不是被拿去訓練引數了，
如下情況，可能是正常的：
1）測驗集比驗證集更難進行預測，盡管演算法做得足夠好了，卻很難有進一步的提升空間，
2）當驗證集和測驗集差的不多時，如 1% 左右，可能是正常的，
References
《Machine Learning Yearning》機器學習訓練秘籍 -- Andrew Ng
Validation and Testing accuracy widely different -- stackoverflow
test accuracy is so much lower than validation accuracy by 6~10%. What could be the reason? -- StackExchange
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/69697.html
標籤：其他
上一篇：復雜模型可解釋性方法——LIME