假設我正在執行標準的 DNN 分類任務,并且我正在使用交叉熵損失。在損失計算之后,我將掩碼向量([0, 0, 0, 1, 1, ...] 應用于損失以將一些損失設定為零。
問題是 Tensorflow 將如何處理這個零損失?會嗎?是否參與反向傳播?
uj5u.com熱心網友回復:
是的,tensorflow 將能夠處理這個問題。導致屏蔽損失值的梯度將僅為 0,因為它們不影響損失值。
uj5u.com熱心網友回復:
在計算了實際損失之后,將掩碼應用于模型的損失基本上意味著在反向傳播程序中會忽略梯度的零元素。例如,在處理時間序列資料時,將掩碼向量應用于損失是一種非常常見的方法,通常將其填充為具有相同的長度。在計算梯度時,這些額外的零值對您的模型沒有用處,因此被忽略。
轉載請註明出處,本文鏈接:https://www.uj5u.com/yidong/324603.html
上一篇:ModuleNotFoundError:在jupyter筆記本python中沒有名為“可視化”的模塊
下一篇:減少SSD-300的訓練步驟
