tensorflow - 使用 super 引擎对 Tensorflow 进行超参数调整

Question

我在上找到了 super 引擎Python工具 https://github.com/maxim5/hyper-engine .

仅使用 mnist 的示例。 https://github.com/maxim5/hyper-engine/tree/master/hyperengine/examples .

我如何提供自己的数据，如下例所示: https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/5_DataManagement/build_an_image_dataset.ipynb

Answer 1

HyperEngine支持自定义数据提供程序，最接近的示例是 this one :它从文本生成单词对，而不是图像，但 API 或多或少是清晰的。基本上，您只需要实现 next_batch 方法:

def next_batch(self, batch_size):
  pass

因此，如果您想在磁盘上的一组图像上训练网络，您只需在文件上编写一个迭代器，并在调用下一批时生成 numpy 数组。

但是有一个但是。目前，HyperEngine 仅接受来自 next_batch 的 numpy 数组。 example您提到的是使用 TF 队列 API，并且 read_images 函数正在生成张量，因此您不能简单地复制代码。希望能够更好地支持各种tensorflow API，包括估计器、数据集API、队列等。