在tfrecord功能中存盤多個值

我正在嘗試tfrecords使用上表創建。我需要以每個類rle的形式匯總（運行長度編碼）功能。rle例如。最終的功能tfrecord看起來像

img_id: b'0002cc93b.jpg'
rle: [b'1 0'  b'29102 12 29346 24...'  b'1 0']

img_id: b'000a4bcdd.jpg'
rle: [b'131973 1 132228 4...'  b'1 0'  b'229501 11 229741 33...']

該rle特征應包含rles對應影像的所有 3 個掩碼作為字串，空rle應編碼為'1 0'

我嘗試使用串列。但它給出了以下錯誤

TypeError: ['29102 12 29346 24 29602 24 29858 24 30114 24 30370 24 30626 24 30882 24 31139 23 31395 23 31651 23 has type list, but expected one of: bytes

uj5u.com熱心網友回復：

您可以通過 3 個簡單的步驟實作這一點，但如果沒有更多詳細資訊，很難說出您實際打算做什么：

創建和決議資料：

import tensorflow as tf
import pandas as pd
import tabulate
import numpy as np

d = {'image_id': ['0002cc93b.jpg', '0007a71bf.jpg', '000a4bcdd.jpg'], 
     'class_1_rle': ['', '18661 28 18863 82...', '131973 1 132228 4...'], 
     'class_2_rle': ['29102 12 29346 24...', '', ''], 
     'class_3_rle': ['', '', '229501 11 229741 33...']}

df = pd.DataFrame(data=d)
default_value = '1 0'
df = df.replace(r'^\s*$', default_value, regex=True)
print(df.to_markdown())

image_ids = np.asarray(df.pop('image_id'))
rle_classes = df.to_numpy()
image_ids_shape = image_ids.shape
rle_classes_shape = rle_classes.shape

image_ids = np.vectorize(lambda x: x.encode('utf-8'))(image_ids).ravel()
rle_classes = np.vectorize(lambda x: x.encode('utf-8'))(rle_classes).ravel()

|    | image_id      | class_1_rle          | class_2_rle          | class_3_rle            |
|---:|:--------------|:---------------------|:---------------------|:-----------------------|
|  0 | 0002cc93b.jpg | 1 0                  | 29102 12 29346 24... | 1 0                    |
|  1 | 0007a71bf.jpg | 18661 28 18863 82... | 1 0                  | 1 0                    |
|  2 | 000a4bcdd.jpg | 131973 1 132228 4... | 1 0                  | 229501 11 229741 33... |

創建 tfrecord：

def bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value = value))

def create_example(image_ids, rle_classes):

  feature = {'img_id': bytes_feature(image_ids),
             'rle': bytes_feature(rle_classes)}
  example = tf.train.Example(features = tf.train.Features(feature = feature))
  return example

test_writer = tf.io.TFRecordWriter('data.tfrecords')

example = create_example(image_ids, rle_classes)
test_writer.write(example.SerializeToString())
test_writer.close() 

閱讀 tfrecord：

def parse_tfrecord(example):
  feature = {'img_id': tf.io.FixedLenFeature([image_ids_shape[0]], tf.string),
             'rle': tf.io.FixedLenFeature([rle_classes_shape[0], rle_classes_shape[1]], tf.string)}
  parsed_example = tf.io.parse_single_example(example, feature)
  return parsed_example

serialised_example = tf.data.TFRecordDataset('data.tfrecords')
parsed_example_dataset = serialised_example.map(parse_tfrecord)
parsed_example_dataset = parsed_example_dataset.flat_map(tf.data.Dataset.from_tensor_slices)
for features in parsed_example_dataset:
  print(features['img_id'], features['rle'])

tf.Tensor(b'0002cc93b.jpg', shape=(), dtype=string) tf.Tensor([b'1 0' b'29102 12 29346 24...' b'1 0'], shape=(3,), dtype=string)
tf.Tensor(b'0007a71bf.jpg', shape=(), dtype=string) tf.Tensor([b'18661 28 18863 82...' b'1 0' b'1 0'], shape=(3,), dtype=string)
tf.Tensor(b'000a4bcdd.jpg', shape=(), dtype=string) tf.Tensor([b'131973 1 132228 4...' b'1 0' b'229501 11 229741 33...'], shape=(3,), dtype=string)

uj5u.com熱心網友回復：

我找到了適合我情況的整體解決方案。

在一個特征中存盤多個值的具體解決方案。

使用 pandas 將 df 中的空 rles 替換為'1 0'

從 df 中獲取與影像對應的 rles 的函式。

def rle_class_1(image_id):
    temp_df = df['class_1_rle'][df['image_id'] == image_id]
    for rle in temp_df:
        rle_tensor = tf.constant(rle)
        return rle_tensor.numpy() 

class_2 和 class_3 的類似功能。

創建 tfrecord

paths_dict = dict(zip(file_ids, file_paths))

def _bytestring_feature(list_of_bytestrings):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=list_of_bytestrings))

def _int_feature(list_of_ints):
    return tf.train.Feature(int64_list=tf.train.Int64List(value=list_of_ints))

def image_bits_from_id(image_id):
    image = Image.open(paths_dict[image_id])
    image = tf.constant(image)
    image_bits = tf.image.encode_jpeg(image, optimize_size=True, chroma_downsampling=False)
    image_bits = image_bits.numpy()
    return image_bits

def create_tfrec_example(image_id):

    image = image_bits_from_id(image_id) 
    rle_1 = rle_class_1(image_id)
    rle_2 = rle_class_2(image_id)
    rle_3 = rle_class_3(image_id)
    
    feature = {
        'image': _bytestring_feature([image]),
        'img_id': _bytestring_feature([image_id.encode()]),
        'rle': _bytestring_feature([rle_1, rle_2, rle_3])
        }

    tfrec_example = tf.train.Example(features=tf.train.Features(feature=feature))
    return tfrec_example

決議和查看記錄

def parse_tfrecord_fn(example):
    features = {
        'image': tf.io.FixedLenFeature([], tf.string), 
        'img_id': tf.io.FixedLenFeature([], tf.string)
        }
    features['rle'] = tf.io.FixedLenFeature([3], tf.string)

    example = tf.io.parse_single_example(example, features)
    example["image"] = tf.io.decode_jpeg(example["image"], channels=3)
    return example

raw_dataset = tf.data.TFRecordDataset(TFREC[0])   # TFREC is a shard
parsed_dataset = raw_dataset.map(parse_tfrecord_fn)

for features in parsed_dataset.take(5):
    for key in features.keys():
        if key != "image":
            print(f"{key}: {features[key]}")

    print(f"Image shape: {features['image'].shape}")
    plt.figure(figsize=(7, 7))
    plt.imshow(features["image"].numpy())
    plt.show()

輸出

img_id: b'0002cc93b.jpg'
rle: [b'29102 12 29346 24 29602 24 29858 24... '
 b'1 0' b'1 0']
Image plot

標籤：

上一篇：什么是Tensorflow2.x中PyTorch的BoolTensor的等價物？

下一篇：如何制作一個具有其索引在另一個張量中的次數的張量？