tensorflow - 深度学习基本思想

Question

我尝试了解深度学习的基础知识，最后阅读了一些 deeplearning4j。但是，我并没有真正找到以下问题的答案:训练性能如何随着训练数据量的变化而变化？

显然，成本函数始终取决于所有训练数据，因为它只是将每个输入的平方误差相加。因此，我想在每个优化步骤中，都必须考虑所有数据点。我的意思是 deeplearning4j 具有数据集迭代器和 INDArray，其中数据可以存在于任何地方，因此(我认为)不会限制训练数据量。但这是否意味着训练数据量与梯度下降中每步的计算时间直接相关？

Answer 1

DL4J 使用迭代器。 Keras 使用生成器。仍然是同样的想法 - 您的数据是批量进来的，并用于 SGD。因此，小批量很重要，而不是您拥有的全部数据量。