python - 将异步 urlfetch 与 urllib2 与谷歌应用引擎中的线程进行比较

Question

我必须制作suds异步运行，我在想两个想法:

1. (更简单)在单独的线程中运行每个 suds 调用，因为 GAE python 2.7 运行时 allows它。

2. (更难)重写 suds 库以在异步 url 获取之上运行

我想使用第一个选项，但不知道它是否会比第二个慢很多。

也许在 GAE 方面更有经验的人可以帮助我选择？

更新

结果必须在单个网络请求中，所以我不能使用任务队列/mapreduce/后端

Answer 1

根据 this question , suds 不是线程安全库。因此，您必须为每个想要使用 suds 客户端对象的线程创建一个新客户端。话虽如此，选项 1 将是您的最佳选择。

另外，看here有关如何使 suds 库在 GAE 上使用缓存的信息。

更新

可以尝试的其他技术(对于您不需要在单个 Web 请求中获得结果的用例):

Backends和 Pull Queues :(如果您打算经常打电话，请使用此方法)

创建始终在线的后端，将 suds 客户端存储在内存中，并不断轮询拉取队列以查找您需要执行的任务。通过这种方式，您可以推送您的应用程序需要进行的许多任务/调用，并让多个后端以小块的形式使用数据。

Task Queues :

(如果您想尝试将成本保持在最低水平并且不打算连续进行许多 SOAP 调用，请使用此方法)

创建任务并让 AppEngine 跨多个实例执行您的需求。只知道无法保证任务何时执行，但根据我的经验，这不是问题。