- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我目前正在研究对象检测网络的输入管道,并且正在为标签的批处理而苦苦挣扎。标签由边界框坐标和图像中对象的类别组成。由于图像中可能有多个对象,因此标签尺寸是任意的
使用 tf.train.batch
时,可以设置 dynamic_padding=True
使形状适合相同的尺寸。但是 data.TFRecordDataset.batch()
中没有这样的选项。
我想要批处理的所需形状是 [batch_size, arbitrary , 4]
用于我的 Boxes 和 [batch_size, arbitrary, 1]
用于类。
def decode(serialized_example):
"""
Decodes the information of the TFRecords to image, label_coord, label_classes
Later on will also contain the Image Sequence!
:param serialized_example: Serialized Example read from the TFRecords
:return: image, label_coordinates list, label_classes list
"""
features = {'image/shape': tf.FixedLenFeature([], tf.string),
'train/image': tf.FixedLenFeature([], tf.string),
'label/coordinates': tf.VarLenFeature(tf.float32),
'label/classes': tf.VarLenFeature(tf.string)}
features = tf.parse_single_example(serialized_example, features=features)
image_shape = tf.decode_raw(features['image/shape'], tf.int64)
image = tf.decode_raw(features['train/image'], tf.float32)
image = tf.reshape(image, image_shape)
# Contains the Bounding Box coordinates in a flattened tensor
label_coord = features['label/coordinates']
label_coord = label_coord.values
label_coord = tf.reshape(label_coord, [1, -1, 4])
# Contains the Classes of the BBox in a flattened Tensor
label_classes = features['label/classes']
label_classes = label_classes.values
label_classes = tf.reshape(label_classes, [1, -1, 1])
return image, label_coord, label_classes
dataset = tf.data.TFRecordDataset(filename)
dataset = dataset.map(decode)
dataset = dataset.map(augment)
dataset = dataset.map(normalize)
dataset = dataset.repeat(num_epochs)
dataset = dataset.batch(batch_size)
dataset = dataset.batch(batch_size)
抛出的错误是无法在分量 1 中批量处理具有不同形状的张量。第一个元素的形状为 [1,1,4],元素 1 的形状为 [1,7,4]。
此外,目前 augment
和 normalize
函数只是占位符。
最佳答案
事实证明 tf.data.TFRecordDataset
有一个叫做 padded_batch
的函数,它基本上是做 tf.train.batch(dynamic_pad=True)
确实如此。这很容易解决问题......
dataset = tf.data.TFRecordDataset(filename)
dataset = dataset.map(decode)
dataset = dataset.map(augment)
dataset = dataset.map(normalize)
dataset = dataset.shuffle(1000+3*batch_size)
dataset = dataset.repeat(num_epochs)
dataset = dataset.padded_batch(batch_size,
drop_remainder=False,
padded_shapes=([None, None, None],
[None, 4],
[None, 1])
)
关于python - Tensorflow:具有任意维度张量的批量 TFRecord 数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52965004/
有什么方法可以直接将 .tfrecords 文件拆分为多个 .tfrecords 文件,而无需写回每个数据集示例? 最佳答案 在 tensorflow 2.0.0 中,这将起作用: import te
我想从 AutoGraph 生成的图形内部将 tensorflow 示例记录写入 TFRecordWriter。 tensorflow 2.0 的文档说明如下: The simplest way to
我正在使用 tensorflow 对象检测 api 创建用于微调任务的数据集。 我的目录结构是: 火车/ -- 图片/ ---- img1.jpg -- 安/ ---- img1.csv 其中每个图像
保存到 TFRecord 时,我使用: def _int64_feature(value): return tf.train.Feature(int64_list=tf.train.Int64
我的理解是,最好对每个时期的训练样本进行洗牌,以便每个小批量包含整个数据集的一个很好的随机样本。如果我将整个数据集转换为包含 TFRecords 的单个文件,那么在加载整个数据集的情况下如何实现这种改
为什么在 TensorFlow 的初始模型示例中对 TFRecords 文件进行分片? 为了随机性,不能在创建一个 TFRecord 文件之前打乱文件列表吗? 最佳答案 为什么 TFRecords 文
根据您的经验,在各种设备(硬盘、SSD、NVME)和存储位置(本地计算机、具有网络安装的 HPC 集群)上运行效果最好的 .tfrecord 文件的理想大小是多少? 如果我在云中技术更强大的计算机上获
为什么在 TensorFlow 的初始模型示例中对 TFRecords 文件进行分片? 为了随机性,不能在创建一个 TFRecord 文件之前打乱文件列表吗? 最佳答案 为什么 TFRecords 文
我有一个包含大约 4000 万行的 CSV。每行都是一个训练实例。根据 the documentation on consuming TFRecords我正在尝试对数据进行编码并将其保存在 TFRec
我在另一个论坛上被问到这个问题,但我想我会把它发布在这里,以供遇到 TFRecords 问题的任何人使用。 如果 TFRecord 文件中的标签与 labels.pbtxt 文件中的标签不对齐,Ten
我正在处理相当大的时间序列数据集,然后将准备为 SequenceExample 的数据写入 TFRecord 。这会产生一个相当大的文件(超过 100GB),但我想将它存储在块中。我试过了: file
关于 Carvana Image Masking Challenge 给出的数据格式,我们如何将其转换为tfrecord可以输入到 Deeplab V3 中的格式型号,可支持VOC和 Cityscap
我得到了一个 TFRecord 数据文件 filename = train-00000-of-00001,其中包含未知大小的图像,可能还包含其他信息。我知道我可以使用 dataset = tf.dat
TensorFlow 对象检测 API 更喜欢 TFRecord 文件格式。 MXNet 和 Amazon Sagemaker 似乎使用 RecordIO 格式。这两种二进制文件格式有何不同,或者它们
我有 5 个 tfrecords 文件,每个对象一个。在训练时,我想从所有 5 个 tfrecord 中平均读取数据,即如果我的批量大小为 50,我应该从第一个 tfrecord 文件中获取 10 个
我想用 TensorFlow 执行多标签分类。 我有大约 95000 张图像,每张图像都有一个相应的标签向量。每个图像有 7 个标签。这 7 个标签表示为一个大小为 7 的张量。每个图像的形状为 (2
在 TensorFlow 教程示例中,TFRecords 的用法与 MNIST 数据集一起提供。 MNIST 数据集被转换为 TFRecords 文件,如下所示: def convert_to(dat
我想将整数列表(或任何多维 numpy 矩阵)写入一个 TFRecords 示例。对于单个值或多个值的列表,我可以创建 TFRecord 文件而不会出错。我还知道如何从 TFRecord 文件中读取单
尝试编写 w/和 w/o 多线程的 tfrecord,发现速度差异不大(w/4 线程:434 秒;w/o 多线程 590 秒)。不确定我是否正确使用它。有没有更好的方法来更快地编写 tfrecord?
我的目标是在本地运行Tensorflow Training App时使用存储在Google Cloud存储中的培训数据(格式:tfrecords)。 (为什么要在本地?:在将其转换为Cloud ML培
我是一名优秀的程序员,十分优秀!