multithreading - torch -多线程将张量加载到队列中以进行训练

Question

我想使用库线程(或可能是并行线程)将数据加载/预处理到队列中，但我不完全确定它是如何工作的。总之;

加载数据(张量)，预处理张量(这需要时间，因此我为什么在这里)并将它们放在队列中。我希望有尽可能多的线程来执行此操作，以便模型不等待或等待时间不长。

对于队列顶部的张量，将其提取并转发通过模型，然后将其从队列中删除。

我不太了解 https://github.com/torch/threads中的示例。关于将数据加载到队列中并进行训练的位置的提示或示例将是很棒的。

编辑14/03/2016

在这个使用低级线程的示例 https://github.com/torch/threads/blob/master/test/test-low-level.lua中，有人知道我如何将这些线程中的数据提取到主线程中吗？

Answer 1

看一下这个多线程数据提供者:
https://github.com/soumith/dcgan.torch/blob/master/data/data.lua

它在线程中运行此文件:
https://github.com/soumith/dcgan.torch/blob/master/data/data.lua#L18

通过在这里调用:
https://github.com/soumith/dcgan.torch/blob/master/data/data.lua#L30-L43

然后，如果要在线程中排队作业，则提供两个功能:
https://github.com/soumith/dcgan.torch/blob/master/data/data.lua#L84
第一个在线程内运行，第二个在第一个完成后在主线程中运行。

希望这可以使它更加清楚。