- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
基本上我有一个要处理的图像列表。我需要在加载后进行一些预处理(数据增强),然后输入到 TF 的主图。目前我正在使用一个定制的生成器,它采用路径列表生成一对张量(图像)并通过占位符馈送到网络。每个批处理的顺序处理大约需要 0.5 秒。
我刚刚阅读了Dataset
API,我可以通过使用.from_generator()
函数直接使用它,并且我可以使用.get_next()
直接作为输入。
但是 QueueRunner
如何融入框架呢? Dataset
是否隐式利用 queue
+ dequeue
来维护其 generator/get_next
管道,或者它需要我显式提供之后进入 FIFOQueue
吗?如果答案是后者,那么维护训练和验证多个 random_shuffle epoch 的管道的最佳实践是什么? (我的意思是,我需要维护多少个 DS/queueRunner,以及在哪里设置 shuffle 和 epoch?)
最佳答案
如果您使用数据集 API,则不必使用 QueueRunner 来拥有队列/缓冲区。可以使用数据集 API 创建队列/缓冲区,并同时预处理数据和训练网络。如果您有数据集,则可以使用 prefetch function 创建队列/缓冲区或shuffle function .
有关更多信息,请参阅 official tutorial on the Dataset API .
以下是在 CPU 上使用预取缓冲区进行预处理的示例:
NUM_THREADS = 8
BUFFER_SIZE = 100
data = ...
labels = ...
inputs = (data, labels)
def pre_processing(data_, labels_):
with tf.device("/cpu:0"):
# do some pre-processing here
return data_, labels_
dataset_source = tf.data.Dataset.from_tensor_slices(inputs)
dataset = dataset_source.map(pre_processing, num_parallel_calls=NUM_THREADS)
dataset = dataset.repeat(1) # repeats for one epoch
dataset = dataset.prefetch(BUFFER_SIZE)
iterator = tf.data.Iterator.from_structure(dataset.output_types,
dataset.output_shapes)
next_element = iterator.get_next()
init_op = iterator.make_initializer(dataset)
with tf.Session() as sess:
sess.run(init_op)
while True:
try:
sess.run(next_element)
except tf.errors.OutOfRangeError:
break
关于python - Tensorflow:如何将 "new"数据集 API 与 QueueRunner 一起使用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47132557/
我知道它们是匿名类型,但我不明白 Razor 语法。在一些文档中,我找到了这样的示例: @Html.Label("Hello", new { htmlAtributes = new { id = "h
关于:new Object(new Array()) 有一个相当基本的问题,我自己确实无法给出答案,我正在寻求建议: 在js中实例化对象时使用如下方法: var obj = new Object();
在eclipse中右击项目时,“新建文件夹”、“新建源文件夹”和“新建包”有什么区别?他们似乎都在做同样的事情,引用文献并没有说太多。 谢谢 最佳答案 新建文件夹 在项目中创建一个新文件夹。 新建源文
几天来我一直在测试 bolt-cms,我试图了解它是如何工作的。 我想知道新页面、新条目和新展示柜之间有什么区别。 我已阅读 this它并没有填补空白。 最佳答案 Pages、Entries 和 Sh
更新:感谢所有的回答。我发现的最干净的解决方案是这个: if ( k(Arrays.asList(new LinkedList<>())); 我有一个递归方法,可以从列表中生成所有“n 选 k”组合。
我现在想知道这些指令是如何分配内存的。 例如,如果我得到代码怎么办: x = new int[5]; y = new int[5]; 如果分配了这些,它在 RAM 中的实际情况如何?是为每个变量保留整
我希望将其写入output.txt而不清除它 - 只是附加到末尾。但是,当我使用以下两种方法时: public void addEmails(ArrayList emails){ for (i
我正在分配内存,稍后将用于构造具有放置 new 的对象。我应该使用 operator new(n),还是应该使用 new unsigned char[n]?为什么? 最佳答案 因素: new[] 必须
基本上,我的问题是以下代码是否有效。 void* mem = operator new(sizeof(T)); T* instance = new(mem) T; delete instance; 如
很抱歉,如果之前有人问过这个问题,但我想就以下两种用法之间的区别提供一个简明的答案。 VS 似乎将它们都接受为有效代码。 private static void doSomeWork() { /
请告诉我这段代码在做什么,它是否创建多维数组(我认为不是)? 代码片段.. var hanoi_peg = new Array( new Array( 5, 4, 3, 2, 1,
这个问题在这里已经有了答案: String intern() behaviour (4 个答案) When should we use intern method of String on Stri
许多人说您应该避免使用 new Object、new Array(),而是使用 {}。 [] 和真/假。 使用字面量构造来获取对象或数组的新实例而不是使用 new 有什么好处?我知道 Crockfor
我正在开发一个存在内存泄漏的开源库。该库是围绕 boost::asio 构建的数据流服务。服务器端使用堆内存管理系统,该系统提供内存以容纳有限数量的 samples,同时它们等待通过 tcp 连接被推
我从以下函数中得到内存泄漏: int ReadWrite(int socket, char *readfile) { FILE *rf = NULL; rf = fopen(readfile,
在考虑类似的事情时 auto x = new T; 标准是否强制要求内存必须来自operator new——类特定的还是全局的?也就是说,如果缺少特定于类的 operator new,则没有办法从除全
只是出于好奇:为什么 C++ 选择 a = new A 而不是 a = A.new 作为实例化对象的方式?后者不是更像是面向对象的吗? 最佳答案 Just out of curiosity: Why
考虑以下代码: typedef SomeType type_t[2]; SomeType * arr1 = new type_t; //new or new[] ??? type_t * arr2
这个问题在这里已经有了答案: Difference between 'new operator' and 'operator new'? (8 个答案) 关闭 8 年前。 面试题:"new"运算符和
我正在为一个应用程序设计界面,以在 TableLayout 中显示从数据库中提取的一些数据。现在,默认 View 是纵向的,它由一个下拉菜单和一个三列的表格组成。当用户切换到横向时,微调器及其选项可以
我是一名优秀的程序员,十分优秀!