gpt4 book ai didi

python - Keras 可以像 tensorflow 数据集那样预取数据吗?

转载 作者:太空狗 更新时间:2023-10-30 00:15:50 25 4
gpt4 key购买 nike

在TensorFlow的Dataset API中,我们可以使用dataset.prefetch(buffer_size=xxx)来预加载其他batch的数据,而GPU正在处理当前batch的数据,这样我就可以充分利用GPU .

我打算使用 Keras,想知道 keras 是否有类似的 API 让我充分利用 GPU,而不是串行执行:读取批处理 0->处理批处理 0->读取批处理 1-> 处理批处理 1-> ...

我简要浏览了 keras API,没有看到预取的描述。

最佳答案

如果您使用 workers > 1 调用 fit_generator,使用_multiprocessing=True,它将预取 queue_size 个批处理。

来自文档:max_queue_size:整数。生成器队列的最大大小。如果未指定,max_queue_size 将默认为 10。

关于python - Keras 可以像 tensorflow 数据集那样预取数据吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52176792/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com