php - 有没有办法从其他服务器抓取文件并将它们异步转储到数据库中？

Question

我需要创建一个 php 脚本，它通过 POST 获取大量 URL，然后加载相应的文件并将它们转储到数据库中。问题是我想异步执行，这样如果我有 1000 个文件要获取，脚本将不会挂起，直到所有文件都加载完毕。此外，每次文件加载完成时，我都需要知道以便将其插入数据库

欢迎任何想法。

Answer 1

将脚本分成两部分 - 首先收集 URL，第二部分是从后台运行的 shell 脚本，以将 URL 插入数据库并获取它们。

所以基本上流程如下:

脚本 1:

• 获取 POST
• 插入数据库
• 用
调用脚本2
• shell_exec 在后台运行

脚本 2:

• 从 urls_to_download 获取所有 url
• 获取 URL(依序或并行，取决于您)
• 和他们一起做事
• 将它们保存到数据库。

你就完成了。 script1 中的 POST 立即返回，然后 script2 开始运行。如果您想显示一些有关进度的信息，剩下的就是检查 URL 的状态(可能是通过 AJAX 从数据库进行轮询)。