- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在为我想做的任务在 tensorflow 中制作一个输入管道。我已经设置了一个 TFRecord 数据集,该数据集已保存到磁盘上的文件中。
我正在尝试使用以下代码加载数据集(进行批处理并发送到实际的 ML 算法):
dataset = tf.data.TFRecordDataset(filename)
print("Starting mapping...")
dataset = dataset.map(map_func = read_single_record)
print("Mapping complete")
buffer = 500 # How large of a buffer will we sample from?
batch_size = 125
capacity = buffer + 2 * batch_size
print("Shuffling dataset...")
dataset = dataset.shuffle(buffer_size = buffer)
print("Batching dataset...")
dataset = dataset.batch(batch_size)
dataset = dataset.repeat()
print("Creating iterator...")
iterator = dataset.make_one_shot_iterator()
examples_batch, labels_batch = iterator.get_next()
但是,我在 dataset.map() 行上收到错误。我收到的错误如下所示:TypeError: Expected int64, got <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x00000000085F74A8> of type 'SparseTensor' instead.
read_single_record()
函数看起来像这样:
keys_to_features = {
"image/pixels": tf.FixedLenFeature([], tf.string, default_value = ""),
"image/label/class": tf.FixedLenFeature([], tf.int64, default_value = 0),
"image/label/numbb": tf.FixedLenFeature([], tf.int64, default_value = 0),
"image/label/by": tf.VarLenFeature(tf.float32),
"image/label/bx": tf.VarLenFeature(tf.float32),
"image/label/bh": tf.VarLenFeature(tf.float32),
"image/label/bw": tf.VarLenFeature(tf.float32)
}
features = tf.parse_single_example(record, keys_to_features)
image_pixels = tf.image.decode_image(features["image/pixels"])
print("Features: {0}".format(features))
example = image_pixels # May want to do some processing on this at some point
label = [features["image/label/class"],
features["image/label/numbb"],
features["image/label/by"],
features["image/label/bx"],
features["image/label/bh"],
features["image/label/bw"]]
return example, label
我不确定问题出在哪里。我从 tensorflow API 文档中得到了这段代码的想法,为了我的目的稍微修改了一下。我真的不知道从哪里开始尝试解决这个问题。
作为引用,这里是我生成 TFRecord 文件的代码:
def parse_annotations(in_file, img_filename, cell_width, cell_height):
""" Parses the annotations file to obtain the bounding boxes for a single image
"""
y_mins = []
x_mins = []
heights = []
widths = []
grids_x = []
grids_y = []
classes = [0]
num_faces = int(in_file.readline().rstrip())
img_width, img_height = get_image_dims(img_filename)
for i in range(num_faces):
clss, x, y, width, height = in_file.readline().rstrip().split(',')
x = float(x)
y = float(y)
width = float(width)
height = float(height)
x = x - (width / 2.0)
y = y - (height / 2.0)
y_mins.append(y)
x_mins.append(x)
heights.append(height)
widths.append(width)
grid_x, grid_y = get_grid_loc(x, y, width, height, img_width, img_height, cell_width, cell_height)
pixels = get_image_pixels(img_filename)
example = tf.train.Example(features = tf.train.Features(feature = {
"image/pixels": bytes_feature(pixels),
"image/label/class": int_list_feature(classes),
"image/label/numbb": int_list_feature([num_faces]),
"image/label/by": float_list_feature(y_mins),
"image/label/bx": float_list_feature(x_mins),
"image/label/bh": float_list_feature(heights),
"image/label/bw": float_list_feature(widths)
}))
return example, num_faces
if len(sys.argv) < 4:
print("Usage: python convert_to_tfrecord.py [path to processed annotations file] [path to training output file] [path to validation output file] [training fraction]")
else:
processed_fn = sys.argv[1]
train_fn = sys.argv[2]
valid_fn = sys.argv[3]
train_frac = float(sys.argv[4])
if(train_frac > 1.0 or train_frac < 0.0):
print("Training fraction (f) must be 0 <= f <= 1")
else:
with tf.python_io.TFRecordWriter(train_fn) as writer:
with tf.python_io.TFRecordWriter(valid_fn) as valid_writer:
with open(processed_fn) as f:
for line in f:
ex, n_faces = parse_annotations(f, line.rstrip(), 30, 30)
randVal = rand.random()
if(randVal < train_frac):
writer.write(ex.SerializeToString())
else:
valid_writer.write(ex.SerializeToString())
请注意,我删除了一些与 TFRecords 文件的实际序列化/创建无关的代码。
最佳答案
未测试,但映射函数似乎无法返回 SparseTensor
和 Tensor
的列表。
tf.VarLenFeature(tf.float32)
返回一个 SparseTensor
但 tf.FixedLenFeature([], tf.int64)
返回一个 张量
。
为了更好地进行批处理,我建议您只使用 Tensor
。
关于如何派生 label
的建议:
label = {
"image/label/class" : features["image/label/class"],
"image/label/numbb" : features["image/label/numbb"],
"image/label/by" : tf.sparse_tensor_to_dense(features["image/label/by"], default_value=-1),
"image/label/bx" : tf.sparse_tensor_to_dense(features["image/label/bx"], default_value=-1)
"image/label/bh" : tf.sparse_tensor_to_dense(features["image/label/bh"], default_value=-1)
"image/label/bw" : tf.sparse_tensor_to_dense(features["image/label/bw"], default_value=-1)
}
有关如何处理此映射输出的灵感,我建议使用 thread .
关于python - Tensorflow TFRecordDataset.map 错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50600661/
我已经使用 vue-cli 两个星期了,直到今天一切正常。我在本地建立这个项目。 https://drive.google.com/open?id=0BwGw1zyyKjW7S3RYWXRaX24tQ
您好,我正在尝试使用 python 库 pytesseract 从图像中提取文本。请找到代码: from PIL import Image from pytesseract import image_
我的错误 /usr/bin/ld: errno: TLS definition in /lib/libc.so.6 section .tbss mismatches non-TLS reference
我已经训练了一个模型,我正在尝试使用 predict函数但它返回以下错误。 Error in contrasts<-(*tmp*, value = contr.funs[1 + isOF[nn]])
根据Microsoft DataConnectors的信息我想通过 this ODBC driver 创建一个从 PowerBi 到 PostgreSQL 的连接器使用直接查询。我重用了 Micros
我已经为 SoundManagement 创建了一个包,其中有一个扩展 MediaPlayer 的类。我希望全局控制这个变量。这是我的代码: package soundmanagement; impo
我在Heroku上部署了一个应用程序。我正在使用免费服务。 我经常收到以下错误消息。 PG::Error: ERROR: out of memory 如果刷新浏览器,就可以了。但是随后,它又随机发生
我正在运行 LAMP 服务器,这个 .htaccess 给我一个 500 错误。其作用是过滤关键字并重定向到相应的域名。 Options +FollowSymLinks RewriteEngine
我有两个驱动器 A 和 B。使用 python 脚本,我在“A”驱动器中创建一些文件,并运行 powerscript,该脚本以 1 秒的间隔将驱动器 A 中的所有文件复制到驱动器 B。 我在 powe
下面的函数一直返回这个错误信息。我认为可能是 double_precision 字段类型导致了这种情况,我尝试使用 CAST,但要么不是这样,要么我没有做对...帮助? 这是错误: ERROR: i
这个问题已经有答案了: Syntax error due to using a reserved word as a table or column name in MySQL (1 个回答) 已关闭
我的数据库有这个小问题。 我创建了一个表“articoli”,其中包含商品的品牌、型号和价格。 每篇文章都由一个 id (ID_ARTICOLO)` 定义,它是一个自动递增字段。 好吧,现在当我尝试插
我是新来的。我目前正在 DeVry 在线学习中级 C++ 编程。我们正在使用 C++ Primer Plus 这本书,到目前为止我一直做得很好。我的老师最近向我们扔了一个曲线球。我目前的任务是这样的:
这个问题在这里已经有了答案: What is an undefined reference/unresolved external symbol error and how do I fix it?
我的网站中有一段代码有问题;此错误仅发生在 Internet Explorer 7 中。 我没有在这里发布我所有的 HTML/CSS 标记,而是发布了网站的一个版本 here . 如您所见,我在列中有
如果尝试在 USB 设备上构建 node.js 应用程序时在我的树莓派上使用 npm 时遇到一些问题。 package.json 看起来像这样: { "name" : "node-todo",
在 Python 中,您有 None单例,在某些情况下表现得很奇怪: >>> a = None >>> type(a) >>> isinstance(a,None) Traceback (most
这是我的 build.gradle (Module:app) 文件: apply plugin: 'com.android.application' android { compileSdkV
我是 android 的新手,我的项目刚才编译和运行正常,但在我尝试实现抽屉导航后,它给了我这个错误 FAILURE: Build failed with an exception. What wen
谁能解释一下?我想我正在做一些非常愚蠢的事情,并且急切地等待着启蒙。 我得到这个输出: phpversion() == 7.2.25-1+0~20191128.32+debian8~1.gbp108
我是一名优秀的程序员,十分优秀!