python - 谷歌应用程序引擎中的延迟任务是否并行？

Question

我有一个 CRON 作业，每天将包含 20 个新文件的列表从 S3 存储桶导入到 GS 存储桶。

这是我的代码:

import webapp2
import yaml
from google.appengine.ext import deferred


class CronTask(webapp2.RequestHandler):

    def get(self):
        with open('/my/config/file') as file:
            config_dict = yaml.load(file_config_file)
        for file_to_load in config_dict:
            deferred.defer(my_import_function, file_to_load)


app = webapp2.WSGIApplication([
    ('/', CronTask)
], debug=True)

我的问题:这个加载作业是由队列进程使用 deferred.defer 函数自动并行化的，还是我应该自己并行化？

如果我们处于第二种情况，我可以使用哪些技术来有效地并行化此加载过程？

Answer 1

这取决于您模块的 scaling settings ，以及队列的 processing settings但默认情况下任务将以一定的并行性执行。