java - 如何为数据存储管理配置任务队列以最大限度地减少前端实例数量？

Question

我正在使用Datastore Admin cron job创建我的应用程序的每日备份。

cron.xml:

<cronentries>
  <cron>
    <url>/_ah/datastore_admin/backup.create?[...]queue=backup</url>
    <description>Daily Backup</description>
    <schedule>[...]</schedule>
    <timezone>America/New_York</timezone>
    <target>ah-builtin-python-bundle</target>
  </cron>
</cronentries>

我创建了一个task queue专门用于备份，以便我的默认队列的性能在备份期间不受影响。

queue.xml:

<queue-entries>
  <queue>
    <name>backup</name>
    <rate>30/s</rate>
    <bucket-size>25</bucket-size>
    <max-concurrent-requests>128</max-concurrent-requests>
  </queue>
</queue-entries>

GAE 在备份过程中启动大量实例。因此，备份将在几分钟内完成。备份过程不需要快速完成。只要备份仍能在几个小时内完成，我希望启动更少的实例以降低成本。

如何更改队列配置以启动更少的实例？如何确定应该为 rate 使用哪些值？ , bucket size , max-concurrent-requests以便 GAE 启动更少的实例，但仍能在 24 小时内完成备份？我减少了rate从 50 到 30 和 max-concurrent-requests从 256 到 128。这两项更改对实例计数或备份执行时间没有可测量的影响。

Answer 1

您的队列通常会受到rate和bucket或max-concurrent-requests的限制。

为了让您的备份过程在几小时而不是几分钟内完成，您需要大幅减少值，例如减少 15 倍。

您没有提到您的任务需要多长时间才能完成，或者有多少个任务同时运行。假设您的某些任务需要几秒钟才能完成，而其他任务则需要几分钟。那么在直接控制运行实例的最大数量方面，max-concurrent-requests 会比 rate 和 bucket 更有用。