- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用 Tensorflow 的数据集 API 读取各种图像(数据和标签)。由于数据集队列在 CPU 上,因此复制数据的成本很高。但是,我似乎找不到避免这种情况的方法。
问题:我能否以统一的顺序(例如 h、w、c)高效地加载各种图像?
假设我想读取单个单 channel 图像,我可以按如下方式进行:
image = tf.image.decode_png(tf.read_file(file_name), channels=1) # h,w,c
或者对于多 channel RGB:
image = tf.image.decode_png(tf.read_file(file_name), channels=3) # h,w,c
这给了我一个高度-宽度- channel 顺序,这对于数据增强和预处理功能很方便,例如 tf.image.per_image_standardization
。
但是,如果我加载多张图像并想将它们堆叠在一起(例如,具有多个 RGB 输入的 CNN 或多标签语义分割问题),我似乎总是必须复制数据。这是在 tf.stack
中使用副本的一种方法:
images = []
for image_id in range(0, images):
file = file_names[image_id]
images.append(tf.image.decode_png(tf.read_file(file), channels=1)[:, :, 0])
images = tf.stack(images, axis=2) # Packs as h,w,c
另一种方法是使用 tf.map_fn
,它看起来就是为此目的而设计的。然而,它在错误的维度上“堆叠”,所以我仍然需要一个昂贵的转置:
map = tf.map_fn(lambda f: tf.image.decode_png(tf.read_file(f), channels=1)[:, :, 0],
file_names, back_prop=False, dtype=tf.uint8)
images = tf.transpose(map, [1, 2, 0]) # from c,h,w to h,w,c
是否可以避免 tf.stack
或 tf.transpose
?
最佳答案
一般来说,删除副本非常困难,因为张量通常是不可变的。每当一个 op 想要输出一些东西时,它就会分配新的内存并写入它。
可以想象更改 map_fn
实现以沿不同维度堆叠张量。不幸的是,它是使用不支持此功能的 TensorArray 构建的。
需要注意的一件事是,CHW 通常更适合 GPU,因为它们更喜欢内部尺寸更大。大多数 TF 操作都支持这种布局。
如果你喜欢冒险,你可以尝试通过 XLA 运行这部分.因为 XLA 获得了图形的全局 View ,所以它可以潜在地优化其中的一些操作。它正在大力开发中,可能会也可能不会有益于您的用例。
您还可以查看处理图像的官方 tensorflow 模型(例如 https://github.com/tensorflow/models/tree/master/official/resnet)以获得最佳实践。
关于python - 使用 tf.map_fn 将多个图像读取为张量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48952824/
当我在元组上使用 map_fn 时,我无法理解它的作用。为了测试,我做了以下事情: a = tf.constant([[1,2,3,4],[5,6,7,8],[9,10,11,12]]) b = tf
看演示: elems = np.array([1, 2, 3, 4, 5, 6]) squares = map_fn(lambda x: x * x, elems) # squares == [1,
我正在尝试构造我的参数,以便它们可以与 tf.map_fn() 一起正常工作,但大多数示例文档仅讨论与函数参数形状相同的数组或张量。 链接包括: Does tensorflow map_fn supp
tf.map_fn 是否像 python 的 native map 函数(下面提供的示例)所支持的那样支持采用多个张量? a = [1,2,3,4] b = [17,12,11,10] print(m
我想在维度为 的矩阵中每个像素的深度 channel 对应的每个向量上映射一个 TensorFlow 函数。 [batch_size, H, W, n_channels] . 换句话说,对于我在批处理
我运行下面的代码,以便从给定的索引矩阵获取填充矩阵(words_chars_ids 形状为 (6,200,20))。结果的形状为 (6,200,20,emb_size),其中对于输出中的每个条目,它都
我正在使用 Tensorflow 的数据集 API 读取各种图像(数据和标签)。由于数据集队列在 CPU 上,因此复制数据的成本很高。但是,我似乎找不到避免这种情况的方法。 问题:我能否以统一的顺序(
使用 Tensorflow 1.4 我想使用映射函数计算张量的元素逆 (x --> 1/x)。如果张量中某个元素的值为零,我希望输出为零。 以 tensor: [[0, 1, 0], [0.5, 0.
我正在研究 map_fn 函数,注意到它输出一个 TensorArray,这应该意味着它能够输出“锯齿状”张量(其中内部的张量具有不同的第一维)。 我试着用这段代码看看这个: import tenso
我尝试使用 tf.map_fn 在 Pycharm 中使用 Tensorflow 获得多个输入的转折点。 但是,当我尝试这样做时, 我收到错误:TypeError: testzz() missing
a = tf.constant([[1,2,3],[4,5,6]]) b = tf.constant([True, False], dtype=tf.bool) a.eval() array([[1,
我想处理不同形状的张量序列(列表)并输出另一个张量列表。考虑每个时间戳上具有不同隐藏状态大小的 RNN。类似的东西 输入:[tf.ones((1, 2, 2)), tf.ones((2, 2, 3))
我正在尝试使用 tensorflow 中的 map_fn 将转换应用于列向量,但它不起作用。 对于下面的列向量: elems = np.array([[1.0], [2.0], [3.0]]) 当我这
我有一个形状为 [a,n] 的张量 A,我需要用另一个形状为 B 的张量执行操作 my_op [b,n] 使得生成的张量 C 的形状为 [a,b]。 换句话说:对于 A (A[0], A 1 ,...
是否可以在具有单个值的张量上运行 map_fn? 以下工作: import tensorflow as tf a = tf.constant(1.0, shape=[3]) tf.map_fn(lam
所以我想要的东西的伪代码是: splitted_outputs = [tf.split(output, rate, axis=0) for output in outputs] 其中,outputs
我在 tensorflow 中构建一个神经网络,它处理 3D 数据并且应该预测输入数据中地标的位置。该策略是密集地(针对每个体素)预测实际地标周围半径 r 的球体中的类别,并预测指向地标实际位置的偏移
当我试图让 TensorFlow 的 map_fn 在我的 GPU 上运行时,我遇到了一个奇怪的问题。这是一个最小的错误示例: import numpy as np import tensorflow
我有一个张量,我使用 tf.map_fn 逐行处理。现在我想将索引作为参数包含在传递给 tf.map_fn 的函数中。在 numpy 中,我可以使用 enumerate 获取该信息并将其传递到我的 l
我正在尝试创建自己的损失函数: def custom_mse(y_true, y_pred): tmp = 10000000000 a = list(itertools.permuta
我是一名优秀的程序员,十分优秀!