如何在tfds.load()之后,在TensorFlow 2.0中应用数据增强。[英] How to apply data augmentation in TensorFlow 2.0 after tfds.load()

本文是小编为大家收集整理的关于如何在tfds.load()之后,在TensorFlow 2.0中应用数据增强。的处理方法,想解了如何在tfds.load()之后,在TensorFlow 2.0中应用数据增强。的问题怎么解决?如何在tfds.load()之后,在TensorFlow 2.0中应用数据增强。问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我正在关注本指南.

它展示了如何使用 tfds.load() 方法从新的 TensorFlow 数据集中下载数据集:

import tensorflow_datasets as tfds    
SPLIT_WEIGHTS = (8, 1, 1)
splits = tfds.Split.TRAIN.subsplit(weighted=SPLIT_WEIGHTS)

(raw_train, raw_validation, raw_test), metadata = tfds.load(
    'cats_vs_dogs', split=list(splits),
    with_info=True, as_supervised=True)

接下来的步骤展示了如何使用 map 方法将函数应用于数据集中的每个项目:

def format_example(image, label):
    image = tf.cast(image, tf.float32)
    image = image / 255.0
    # Resize the image if required
    image = tf.image.resize(image, (IMG_SIZE, IMG_SIZE))
    return image, label

train = raw_train.map(format_example)
validation = raw_validation.map(format_example)
test = raw_test.map(format_example)

然后访问我们可以使用的元素:

for features in ds_train.take(1):
  image, label = features["image"], features["label"]

for example in tfds.as_numpy(train_ds):
  numpy_images, numpy_labels = example["image"], example["label"]

但是,该指南没有提及任何有关数据增强的内容.我想使用类似于 Keras 的 ImageDataGenerator 类的实时数据增强.我尝试使用:

if np.random.rand() > 0.5:
    image = tf.image.flip_left_right(image)

和 format_example() 中的其他类似增强功能,但是,我如何验证它正在执行实时增强而不是替换数据集中的原始图像?

我可以通过将 batch_size=-1 传递给 tfds.load() 然后使用 tfds.as_numpy() 将完整的数据集转换为 Numpy 数组,但是,这会将所有不需要的图像加载到内存中.我应该能够使用 train = train.prefetch(tf.data.experimental.AUTOTUNE) 为下一个训练循环加载足够的数据.

推荐答案

你从错误的方向解决问题.

首先,使用 tfds.load、cifar10 下载数据(为简单起见,我们将使用默认的 TRAIN 和 TEST 拆分):

import tensorflow_datasets as tfds

dataloader = tfds.load("cifar10", as_supervised=True)
train, test = dataloader["train"], dataloader["test"]

(您可以使用自定义 tfds.Split 对象来创建验证数据集或其他,查看文档)

train 和 test 是 tf.data.Dataset 对象,因此您可以使用 map、apply、batch 以及与它们中的每一个类似的功能.

下面是一个例子,我将(使用 tf.image 大部分):

  • 将每个图像转换为 0-1 范围内的 tf.float64 (不要使用官方文档中的这个愚蠢的片段,这样可以确保正确的图像格式)
  • cache() 结果,因为这些结果可以在每个 repeat
  • 之后重复使用
  • 随机翻转left_to_right每张图片
  • 随机改变图像对比度
  • 随机播放数据和批处理
  • 重要提示:在数据集用完时重复所有步骤.这意味着在一个 epoch 之后,上述所有转换都会再次应用(缓存的转换除外).

这是执行上述操作的代码(您可以将 lambdas 更改为仿函数或函数):

train = train.map(
    lambda image, label: (tf.image.convert_image_dtype(image, tf.float32), label)
).cache().map(
    lambda image, label: (tf.image.random_flip_left_right(image), label)
).map(
    lambda image, label: (tf.image.random_contrast(image, lower=0.0, upper=1.0), label)
).shuffle(
    100
).batch(
    64
).repeat()

这样的 tf.data.Dataset 可以直接传递给 Keras 的 fit、evaluate 和 predict 方法.

验证它实际上是这样工作的

我看你对我的解释很怀疑,我们来看一个例子:

1.获取一小部分数据

这是获取单个元素的一种方法,不可理解且不直观,但如果您使用 Tensorflow 进行任何操作,您应该可以接受:

# Horrible API is horrible
element = tfds.load(
    # Take one percent of test and take 1 element from it
    "cifar10",
    as_supervised=True,
    split=tfds.Split.TEST.subsplit(tfds.percent[:1]),
).take(1)

2.重复数据,检查是否相同:

使用 Tensorflow 2.0 实际上可以做到这一点而无需愚蠢的解决方法(几乎):

element = element.repeat(2)
# You can iterate through tf.data.Dataset now, finally...
images = [image[0] for image in element]
print(f"Are the same: {tf.reduce_all(tf.equal(images[0], images[1]))}")

不出所料地返回:

Are the same: True

3.通过随机增强检查每次重复后数据是否不同

下面的代码片段 repeat 的单个元素 5 次并检查哪些是相同的,哪些是不同的.

element = (
    tfds.load(
        # Take one percent of test and take 1 element
        "cifar10",
        as_supervised=True,
        split=tfds.Split.TEST.subsplit(tfds.percent[:1]),
    )
    .take(1)
    .map(lambda image, label: (tf.image.random_flip_left_right(image), label))
    .repeat(5)
)

images = [image[0] for image in element]

for i in range(len(images)):
    for j in range(i, len(images)):
        print(
            f"{i} same as {j}: {tf.reduce_all(tf.equal(images[i], images[j]))}"
        )

输出(在我的情况下,每次运行都会不同):

0 same as 0: True
0 same as 1: False
0 same as 2: True
0 same as 3: False
0 same as 4: False
1 same as 1: True
1 same as 2: False
1 same as 3: True
1 same as 4: True
2 same as 2: True
2 same as 3: False
2 same as 4: False
3 same as 3: True
3 same as 4: True
4 same as 4: True

您也可以将这些图像中的每一个投射到 numpy 并使用 skimage.io.imshow, matplotlib.pyplot.imshow 或其他替代方案.

实时数据增强可视化的另一个例子

这个答案提供了一个关于使用 Tensorboard 和 MNIST 进行数据增强的更全面和可读的视图,可能需要检查那个(是的,无耻的插件,但我猜很有用).

本文地址:https://www.itbaoku.cn/post/1793955.html