Python - 使用 Comet 和 HTTP 流抓取网页

Question

我必须从 fxstreet 中提取数据我用 firebug 提取了 HTML 代码，看起来该网页正在使用 Comet 和 HTTP 流。

我想每秒用数据填充字典，而无需刷新页面。我用 urllib.urlopen 做到了，但我必须每秒执行一次查询。

有人知道从 Comet 和 http 流中提取数据的正确方法吗？谢谢

Answer 1

您可能想要使用gevent , Tornado ，或Twisted编写一个异步 HTTP 客户端来使用您的服务。有很多专为使用 Twitter Streaming API 而构建的项目，您可能会从中寻求灵感:

• https://github.com/fiorix/twisted-twitter-stream -twisted
• https://github.com/dustin/twitty-twister -twisted
• https://github.com/atl/twitstream -asyncore , pycurl或tornado
• https://github.com/godavemon/TwitTornado -tornado
• https://github.com/thruflo/close.consumer -gevent