TensorFlow:nr。时代与天然橡胶。训练步骤

Question

我最近试用了 Google 的 seq2seq建立一个小型的 NMT 系统。我设法让一切正常运行，但我仍然想知道模型的轮数和训练步骤数之间的确切差异。

如果我没记错的话，一个 epoch 由多个训练步骤组成，一旦你的整个训练数据被处理一次就已经过去了。但是，当我查看 Google 自己的文档时，我不明白两者之间的区别 tutorial on NMT .请注意以下代码段的最后一行。

export DATA_PATH=

export VOCAB_SOURCE=${DATA_PATH}/vocab.bpe.32000
export VOCAB_TARGET=${DATA_PATH}/vocab.bpe.32000
export TRAIN_SOURCES=${DATA_PATH}/train.tok.clean.bpe.32000.en
export TRAIN_TARGETS=${DATA_PATH}/train.tok.clean.bpe.32000.de
export DEV_SOURCES=${DATA_PATH}/newstest2013.tok.bpe.32000.en
export DEV_TARGETS=${DATA_PATH}/newstest2013.tok.bpe.32000.de

export DEV_TARGETS_REF=${DATA_PATH}/newstest2013.tok.de
export TRAIN_STEPS=1000000

在我看来，好像只有一种方法可以定义训练步骤的数量，而不是模型的纪元数。是否可能存在术语重叠，因此没有必要定义多个时期？

Answer 1

一个时期包括一次遍历所有训练样本。一步/迭代指的是对单个小批量进行训练。因此，如果您有 1,000,000 个训练样本并使用 100 的批量大小，则一个 epoch 将相当于 10,000 步，每步 100 个样本。

高级神经网络框架可以让您设置轮数或训练步骤总数。但是您不能同时设置它们，因为一个直接决定另一个的值。