python - 从 Python 中的协程产生一个值，也就是将回调转换为生成器

Question

我是 Python 和函数式编程的新手。我使用的是 2.7.6 版本

我正在使用 Tornado 框架来发出异步网络请求。根据我对函数式编程的了解，我希望我的数据通过使用生成器流过我的代码。我已经使用生成器完成了我需要的大部分工作，并在数据流通过我的函数调用时转换数据。

在流的最后，我想对一些数据发出 REST 请求。在我将数据提交给 Tornado 之前，我有一个 for 循环，以启动拉取，然后发送 http 请求。 Tornado 提供的 http 对象带有一个回调函数作为一个选项，并且总是返回一个 Future——这实际上是一个 Tornado Future 对象，而不是官方的 Python Future。

我的问题是，由于我现在使用生成器通过我的代码提取数据，所以我不想再使用回调函数。我这样做的原因是，在我从回调中取回数据后，我的数据现在正在通过我的代码推送，我无法再使用生成器。

我的目标是创建一个如下所示的界面:

urls = (...generated urls...)
responses = fetch(urls)

responses 是完整 url 的生成器。

我尝试做的事情——在很多事情中——是将回调的结果转换成一个生成器。我正在考虑这样的事情，尽管我还远未针对我将很快解释的其他问题实现它。但是，我希望我的 fetch 函数看起来像这样:

def fetch(urls):
    def url_generator():
        while True:
            val = yield
            yield val

    @curry
    def handler(gen, response):
        gen.send(response)

    gen = url_generator()

    for u in urls:
        http.fetch(u, callback=handler(gen))

    return gen

我简化了代码和语法以专注于问题，但我认为这会很好地工作。我的策略是定义一个协程/生成器，然后我会在收到响应时将其发送给它。

我遇到最多麻烦的是协程/生成器。即使我以上述方式定义一个生成器并执行以下操作，我也会得到一个无限循环——这是我的主要问题之一。

def gen():
    while True:
        val = yield
        print 'val', val
        yield val
        print 'after', val
        break

g = gen()
g.send(None)
g.send(10)

for e in g:
    print e

如预期的那样在协程中打印 val 10 after 10 和 break，但是 for-loop 永远不会得到 10 的值。当 break 出现时它不打印任何东西。如果我删除 break，就会进入无限循环:

val None
None
after None
None
val None
None
after None
None
...

如果我删除 for 循环，那么协程将只打印 val 10，因为它等待第二次 yield。我期待这个。但是，使用它不会产生任何结果。

类似地，如果我删除 for 循环并将其替换为 print next(g)，则会出现 StopIteration 错误，我认为这意味着我在没有更多内容的生成器上调用了 next值(value)观。

任何人，当我深入研究 Python 时，我完全不知所措。我认为这在 Python 中很常见，以至于有人知道一个很好的方法。我搜索了“将回调转换为生成器”等，但运气不佳。

另一方面，我可能会从 http 请求中产生每个 future ，但我没有太多运气“等待” future 完成的 yield 。我读了很多关于“yield from”的文章，但它似乎是特定于 Python 3 的，而 Tornado 似乎还不适用于 Python 3。

感谢观看，也感谢您提供的任何帮助。

Answer 1

Tornado 在 Python 3 上运行良好。

上面简化代码的问题是这没有按照您的预期进行:

val = yield

您希望生成器在那里暂停(阻塞您的 for 循环)直到其他函数调用 g.send(value)，但事实并非如此。相反，代码的行为如下:

val = yield None

因此 for 循环接收 None 值的速度与处理它们的速度一样快。它接收到每个None后，隐式调用g.next()，这与g.send(None)相同。因此，您的代码等同于:

def gen():
    while True:
        val = yield None
        print 'val', val
        yield val
        print 'after', val

g = gen()
g.send(None)
g.send(10)

while True:
    try:
        e = g.send(None)
        print e
    except StopIteration:
        break

阅读这个版本的代码，其中隐式行为是显式的，我希望它清楚为什么它只是在无限循环中生成 None。

您需要的是一种方法，让一个函数将项目添加到队列的头部，而另一个函数阻止等待项目，并在它们准备好时将它们从队列的尾部拉出。从 Tornado 4.2 开始，我们拥有:

http://www.tornadoweb.org/en/stable/queues.html

web spider 例子很接近你想做的，我相信你可以适应它:

http://www.tornadoweb.org/en/stable/guide/queues.html