java - 如何创建短期的单任务 Google Compute Engine 实例？

Question

问题:如何创建一个轻量级按需实例，使用 Java8 和我的代码进行预配置，pull从任务队列中取出任务，执行内存密集型任务，然后自行关闭。 (按需、高内存、中CPU、单任务执行器)

历史记录:我成功使用 Google App Engine Task Queue在 Java 中用于“突发”处理相对罕见的事件 - 也许有人每周一次提交一个表单，该表单创建约 10 个任务，系统会消耗一些内存和 CPU 周期来思考这些任务几分钟，保存结果，网页将轮询后端是否完成。它在 Google App Engine 中运行得很好 - 自动缩放会删除所有空闲实例，任务队列将完成处理，我会确保通过设置 max-concurrent-requests=1 不会使事情重载，生活很美好!

但是我的任务对于实例类而言内存过于密集:F4_1G 😢我很想选择具有更多内存的东西，但这不是一个选择。所以我需要想办法。

我认为我最好的选择是使用 API com.google.api.services.compute.model.Instance 启动一个通用实例但停在那里。我被任务队列的构建如此简单所宠坏了，我不想为了获得更高的内存实例而迷失在杂草中 - 我不需要集群，也不需要任何集群有点可靠性!

1. 这是一个 Docker 容器吗？
2. 从 GAE 外部的拉取队列中拉取是否会很难进行身份验证？
3. 如果一个任务大约需要 10 分钟，那么为每个任务启动/关闭一个实例(容器？)是不是很疯狂？

我发现了一些类似的问题，但没有非常合适的答案:

• How to Consume App Engine Task Queue Via Compute Engine Instance
• How do I integrate google app engine, taks queue and google compute engine?

Answer 1

我想读一下有关 GAE 模块的内容。这些可以设置为使用基本缩放，以便按需创建实例，然后在一段时间后过期，由您在 appengine-web.xml 中使用以下内容进行设置:

<basic-scaling>
 <max-instances>2</max-instances>
 <idle-timeout>5m</idle-timeout>
</basic-scaling>

如果模块处理来自任务队列的请求，则有 10 分钟的时间来完成其工作，这对于许多任务来说可能足够了。