所以，我一直在嘗試實作一些自定義損失，所以我想我會從實作 SCE 損失開始，而不使用內置的 TF 物件。這是我為它撰寫的函式。
def custom_loss(y_true, y_pred):
print(y_true, y_pred)
return tf.cast(tf.math.multiply(tf.experimental.numpy.log2(y_pred[y_true[0]]), -1), dtype=tf.float32)
y_pred 是概率集合，y_true 是正確概率的索引。這個設定應該根據我讀過的所有內容作業，但它會回傳 NAN 丟失。
我檢查了訓練回圈是否有問題，但它與內置損失完美配合。
有人能告訴我這段代碼有什么問題嗎？
uj5u.com熱心網友回復：
您可以復制SparseCategoricalCrossentropy()損失函式如下
import tensorflow as tf
def sparse_categorical_crossentropy(y_true, y_pred, clip=True):
y_true = tf.convert_to_tensor(y_true, dtype=tf.int32)
y_pred = tf.convert_to_tensor(y_pred, dtype=tf.float32)
y_true = tf.one_hot(y_true, depth=y_pred.shape[1])
if clip == True:
y_pred = tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7)
return - tf.reduce_mean(tf.math.log(y_pred[y_true == 1]))
請注意，SparseCategoricalCrossentropy()損失函式1e-7對預測概率應用了一個小的偏移量 ( )，以確保損失值始終是有限的，另請參見此問題。
y_true = [1, 2]
y_pred = [[0.05, 0.95, 0.0], [0.1, 0.8, 0.1]]
print(tf.keras.losses.SparseCategoricalCrossentropy()(y_true, y_pred).numpy())
print(sparse_categorical_crossentropy(y_true, y_pred, clip=True).numpy())
print(sparse_categorical_crossentropy(y_true, y_pred, clip=False).numpy())
# 1.1769392
# 1.1769392
# 1.1769392
y_true = [1, 2]
y_pred = [[0.0, 1.0, 0.0], [0.0, 1.0, 0.0]]
print(tf.keras.losses.SparseCategoricalCrossentropy()(y_true, y_pred).numpy())
print(sparse_categorical_crossentropy(y_true, y_pred, clip=True).numpy())
print(sparse_categorical_crossentropy(y_true, y_pred, clip=False).numpy())
# 8.059048
# 8.059048
# inf
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/406130.html
標籤：