google-app-engine - App Engine Bulkloader 如何禁用 "Backing off due to errors"

Question

我必须使用 App Engine 批量加载程序上传大量实体 (800k)。一切都已准备就绪，一切进展顺利，除了我遇到一个神秘的错误导致发生这种情况:

[WorkerThread-0] Backing off due to errors: 1.0 seconds
[WorkerThread-0] Backing off due to errors: 2.0 seconds
[WorkerThread-0] Backing off due to errors: 4.0 seconds
[WorkerThread-0] Backing off due to errors: 8.0 seconds

这很好，直到我让它运行一整天:

[WorkerThread-0] Backing off due to errors: 2048.0 seconds
[WorkerThread-0] Backing off due to errors: 4096.0 seconds

如何禁用它？这让我的上传需要永远。毫不夸张地说，每千个实体就会发生这种情况，所以我可能会等待 2^sum(1 to 800) 秒。这显然不理想。

除了它说我有“错误”之外，我不知道错误是什么，但如果我每小时停止并恢复，似乎一切都在上传。

Answer 1

我修改了 google_appengine/google/appengine/tools/adaptive_thread_pool.py 以忽略 self.__backing_off 变量。具体来说，我在第 426 行将其重置为 1.0。

Google 的设计真是荒谬...