python - 在 google-colaboratory 中导入数据以进行快速计算和培训的最佳方式？

Question

我在 Google 的 colab 上运行一个简单的深度学习模型，但它的运行速度比没有 GPU 的 MacBook Air 慢。

我读了this question并发现这是一个问题，因为数据集是通过互联网导入的，但我无法弄清楚如何加快这个过程。

可以找到我的模型here .知道如何让 epoch 更快吗？

我的本​​地机器每个 epoch 需要 0.5-0.6 秒，而 google-colabs 需要 3-4 秒

Answer 1

GPU 总是比 CPU 快吗？没有为什么？因为 GPU 的速度优化取决于几个因素，

1. 您的代码有多少部分并行运行/执行，即您的代码有多少部分创建了并行运行的线程，这由 Keras 自动处理，在您的场景中应该不是问题。

2. 在 CPU 和 GPU 之间发送数据所花费的时间，这是很多人犹豫不决的地方，假设 GPU 总是优于 CPU，但如果传递的数据太小，执行计算(不需要计算步骤)比将数据/进程分解为线程、在 GPU 中执行它们然后在 CPU 上重新组合它们要少。

第二种情况在您的情况下看起来很可能，因为您使用的 batch_size 为 5。classifier=KerasClassifier(build_fn=build_classifier,epochs=100,batch_size=5)，如果您的数据集足够大，增加 batch_size 将提高 GPU 相对于 CPU 的性能。

除此之外，您使用了一个相当简单的模型，正如@igrinis 指出的那样，数据仅从驱动器加载到内存中一次，因此所有理论中的问题不应该是加载时间，因为数据在驱动器上。