在訓練模型時，我在應用資料增強時遇到了麻煩。特別是關于fit_generator()方法的使用。
我最初使用fit()方法在沒有增強的情況下成功運行了我的模型，但是根據其他人的說法，建議使用fit_generator()。當涉及到影像和標簽時，這兩種方法似乎都需要相同的輸入，但是在運行以下代碼時出現以下錯誤：
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
/tmp/ipykernel_35/139227558.py in <module>
105
106 # train the network
--> 107 model.fit_generator(aug.flow(train_ds, batch_size=batch_size),
108 validation_data=val_ds, steps_per_epoch=len(train_ds[0]) // batch_size,
109 epochs=epochs)
/opt/conda/lib/python3.7/site-packages/keras/preprocessing/image.py in flow(self, x, y, batch_size, shuffle, sample_weight, seed, save_to_dir, save_prefix, save_format, subset)
894 save_prefix=save_prefix,
895 save_format=save_format,
--> 896 subset=subset)
897
898 def flow_from_directory(self,
/opt/conda/lib/python3.7/site-packages/keras/preprocessing/image.py in __init__(self, x, y, image_data_generator, batch_size, shuffle, sample_weight, seed, data_format, save_to_dir, save_prefix, save_format, subset, dtype)
472 save_format=save_format,
473 subset=subset,
--> 474 **kwargs)
475
476
/opt/conda/lib/python3.7/site-packages/keras_preprocessing/image/numpy_array_iterator.py in __init__(self, x, y, image_data_generator, batch_size, shuffle, sample_weight, seed, data_format, save_to_dir, save_prefix, save_format, subset, dtype)
119 y = y[split_idx:]
120
--> 121 self.x = np.asarray(x, dtype=self.dtype)
122 self.x_misc = x_misc
123 if self.x.ndim != 4:
/opt/conda/lib/python3.7/site-packages/numpy/core/_asarray.py in asarray(a, dtype, order)
81
82 """
---> 83 return array(a, dtype, copy=False, order=order)
84
85
TypeError: float() argument must be a string or a number, not 'BatchDataset'
我已經完成了谷歌嘗試修復TypeError: float() 引數必須是字串或數字，而不是 'BatchDataset'錯誤，但無濟于事。有沒有人有關于繼續前進的建議？
import pathlib
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras.models import Sequential
import matplotlib.pyplot as plt
# Set data directory
data_dir = pathlib.Path("../input/validatedweaponsv6/images/")
# Set image size
img_height = 120
img_width = 120
# Hyperparameters
batch_size = 128
epochs = 50
learning_rate = 0.001
# Create the training dataset
train_ds = tf.keras.utils.image_dataset_from_directory(
data_dir,
label_mode='categorical',
validation_split=0.2,
subset="training",
shuffle=True,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)
# Create the validation dataset
val_ds = tf.keras.utils.image_dataset_from_directory(
data_dir,
label_mode='categorical',
validation_split=0.2,
subset="validation",
shuffle=True,
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)
# Create sequential model
model = Sequential([
# Preprocessing
layers.Rescaling(1./127.5, offset=-1,
input_shape=(img_height, img_width, 3)),
# Encoder
layers.Conv2D(8, 3, activation='relu'),
layers.MaxPooling2D(),
layers.Conv2D(16, 3, activation='relu'),
layers.MaxPooling2D(),
layers.Conv2D(32, 3, activation='relu'),
# layers.Conv2D(2, 3, activation='relu'), ???
layers.Flatten(),
# Decoder
layers.Dense(64, activation='relu'),
layers.Dropout(0.5),
layers.Dense(2, activation='softmax')
])
# Print the model to see the different output shapes
print(model.summary())
# Compile model
model.compile(loss='categorical_crossentropy',
optimizer=keras.optimizers.SGD(learning_rate=learning_rate), metrics=['accuracy'])
# construct the training image generator for data augmentation
aug = tf.keras.preprocessing.image.ImageDataGenerator(rotation_range=20, zoom_range=0.15,
width_shift_range=0.2, height_shift_range=0.2, shear_range=0.15,
horizontal_flip=True, fill_mode="nearest")
# train the network
model.fit_generator(aug.flow(train_ds, batch_size=batch_size),
validation_data=val_ds, steps_per_epoch=len(train_ds[0]) // batch_size,
epochs=epochs)
# Print scores
score = model.evaluate(train_ds, verbose=0)
print('Validation loss:', score[0])
print('Validation accuracy:', score[1])
# Show loss and accuracy models
show_history(history)
謝謝你看我的帖子！:)
uj5u.com熱心網友回復：
首先，你提到的文章已經3年了，有點過時了。從 tensorflow 2.1.0 開始， .fit方法也接受生成器，目前它完全取代了 .fit_generator。如果可能，我建議您更新您的 tensorflow。
其次，錯誤似乎不在于 fit_generator 方法，而在于您定義資料集的方式。他們只是首先呼叫了 fit_generator，這就是錯誤訊息將您追溯到那里的原因。
至于錯誤本身，我不明白嵌套生成器的部分，我認為它會在這里引起問題。您正在嘗試將從tf.keras.utils.image_dataset_from_directory獲得的批處理資料集傳遞給另一個生成器，這似乎是不可能的。
如果我理解正確的話，你必須在每個影像上只有一個標簽，每一類的影像存盤在單獨的檔案夾，所以我建議你使用flow_from_directory的方法tf.keras.preprocessing.image.ImageDataGenerator直接。此生成器將讀取和擴充影像，因此您可以洗掉 tf.keras.utils.image_dataset_from_directory 部分。
要使用此生成器，您需要具有以下形式的影像：
- 根目錄
- class1 檔案夾
- class2 檔案夾
- 等等
你的代碼將是這樣的：
gen = tf.keras.preprocessing.image.ImageDataGenerator( #desired augmentation, ...)
train_generator = gen.flow_from_directory(directory = root_directory,
target_size=(256, 256), classes= *list of class names*,
class_mode='categorical', batch_size=32, shuffle=True, ...)
model.fit(train_generator, ...)
您也可以傳遞“validation_split”引數以獲取單獨的資料集進行訓練和驗證。在官方檔案中閱讀有關 ImageDataGenerator 和 flow_from_directory 方法的更多資訊。
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/363854.html
上一篇：如何使用提供的需要tf.Tensor的preprocess_input函式預處理tf.data.Dataset？
下一篇：如何為PopupMenu提供圓角