php - 从非常慢的外部数据源获取大量数据

Question

我需要从外部来源接收大量数据。问题是外部源发送数据非常慢。工作流程是这样的:

1. 用户从应用程序界面启动一些进程(通常是从本地 xml 文件中获取数据)。这是一个相当快的过程。
2. 之后我们需要加载与从外部源获取的数据相关的信息(基本上是来自 xml 的数据的外部统计)。而且速度很慢。但是用户需要此附加信息才能继续工作。例如他可能根据外部数据或其他东西进行过滤。

因此，我们需要异步进行。主要思想是在可用时显示外部数据。问题是我们如何组织这个异步过程？也许是一些问题或其他什么？我们在前端使用 php+mysql 作为后端和 jquery。非常感谢!

Answer 1

您的两种可能策略是:

1. 在后端进行流式处理，使用 PHP 脚本将大量外部资源 curl 到数据库或内存缓存中，并通过刷新数据库行或缓存到响应中。

2. 在前端进行流式处理，使用 this answer 中解释的跨浏览器 JavaScript 技术.在 Gecko 和 WebKit 中，每次收到新数据时都会触发 XmlHttpRequest.onreadystatechange 事件，从而可以将数据缓慢地流式传输到 JavaScript 运行时。在 IE 中，您需要使用 iframe 解决方法，也在 Ajax Patterns article 中进行了解释链接在上面的 SO 帖子中。