python - 了解 Twisted 和异步编程。为什么一段代码有效而另一段代码无效？

Question

抱歉，首先是文字墙。我正在努力理解 Twisted 和异步编程的一般情况。

我正在使用 Python 2.7 和 Twisted 15.4.0。

我试过this example对于 downloadPage() 来说，它工作得很好。

我对它做了一些修改，将回调从 lambda 更改为正确的函数。有效。我还尝试从回调和错误返回中删除reactor.stop()语句，它的唯一效果是脚本在下载后不会停止。这是有道理的，因为事件循环仍在运行。

我还尝试提供一个损坏的网址。

如果我只调用一次 downloadPage()，程序就会阻塞。它不会触发错误返回。

如果我有两个调用，一个具有损坏的 URL，另一个具有正确的 URL，它会运行、完成并触发回调(我假设是正确的)并终止。

我的第一个问题是:为什么会发生这种情况？为什么 URL 损坏时不会触发 errback？损坏的 URL 不应该引发错误吗？

<小时/>

我有一个单独的代码，看起来像这样:

def receive_some_data():
   # Do some non twisted stuff - The script runs and passes these lines
   While True:
       try:
           # Do some other non twisted stuff
           print "1"
           downloadPage("http//:www.google.com", "foo").addCallbacks(
               lambda value:(println('Good'),reactor.stop()),
               lambda error:(println("an error occurred",error),reactor.stop()))
           print "2"
       except Exceptions as e:
           print str(e)

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

该代码不起作用。它打印“1”，它打印“2”，但没有回调或 errback 调用。页面也没有下载到“foo”。

我的第二个问题是:为什么这段代码不起作用？是因为While循环吗？如果是这样，while 循环如何影响 deferred 及其回调链？

<小时/>

编辑 1: 我将“While True”更改为“While 条件”，在 3 次迭代后终止。现在文件已下载并调用回调。为什么无限循环会干扰下载？

此外，While 循环内的“# Do some other non-twisted stuff”行执行从管道的读取。这是我获取网址的地方。

连续读取网址并在下载完成时安排回调的最佳方式是什么？

<小时/>

编辑 2:我将代码更改为如下所示:

def receive_some_data():
    # Do some non twisted stuff
    if condition:
        # Request more urls
        downloadPage(url,file).addCallbacks(success,fail)
    else:
        # Ask sender not to send urls atm

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

我将代码结构更改为这样的想法:callWhenRunning()将继续调用receive_some_data函数(就像无限循环)。事实并非如此。

如何让事件循环继续调用此函数？

<小时/>

编辑 3: 设法使此功能在某种程度上发挥作用。我发现了Looping Call方法。我每 x 秒使用循环调用从 Edit 2 调用我的代码。有用。还有其他方法吗？

<小时/>

谢谢!

Answer 1

基本上，当您多次调用 downloadPage 时，您所做的就是并行启动多个下载。第一个完成的将是第一个调用它的回调或错误返回的，这将停止 react 器以及所有其他下载。

因此，当您将一次调用的 URL 更改为不良主机时，请求将需要一段时间才能超时。到那时，其他(好的)下载将完成，并停止 react 器。这就是为什么您的代码只能与一个好的 URL 配合使用。

另一个示例中的 while 将创建一个接一个的下载，并且不会从函数 receive_some_data 返回。但它需要返回才能允许执行下载的调用/错误返回。 Twisted 一次仅运行一个调用。