python - Adanet 内存不足

Question

我尝试在具有大约 1850 个特征的数据集(特征工程之后)上使用两个 DNNEstimators(隐藏单元为 1000,500, 100)训练 AutoEnsembleEstimator，但我一直在耗尽内存(即使在更大的 400G+ high-mem 上) GCP 虚拟机)。

我使用上面的方法进行二元分类。最初，我训练了各种模型，并通过在经过训练的模型上训练传统的集成分类器来组合它们。我希望 Adanet 能够简化生成的模型图，从而使推理更容易，而不是为各种缩放器/scikit 模型/keras 模型提供单独的图/pickles。

Answer 1

三个假设:

1. 您的集成中可能有太多 DNN，如果 max_iteration_steps 太小并且 max_iterations 未设置(这两者都是构造函数参数)，则可能会发生这种情况到 AutoEnsembleEstimator )。如果您想对每个 DNN 进行 N 步训练，并且想要一个包含 2 个 DNN 的集成，则应设置 max_iteration_steps=N、设置 max_iterations=2 code>，并训练 AutoEnsembleEstimator 2N 步骤。

2. 您可能使用的是 adanet-0.6.0-dev，它存在内存泄漏。要解决此问题，请尝试更新到最新版本并查看此问题是否仍然出现。

3. 您的批量大小可能太大。尝试降低批量大小。