php - 在后台运行异步作业 (laravel)

Question

我知道 Laravel 的队列驱动程序，例如 redis 和 beanstalkd，并且我读到您可以增加 beanstalkd 等的工作人员数量。但是我不确定这些解决方案是否适合我的场景。这就是我需要的；

我通过套接字连接收听 XML 提要，数据一直在快速传输。永远。我在一秒钟内得到了数十个 XML 文档。

我逐行从这个套接字中读取数据，一旦到达 XML 结束标记，我就将缓冲区发送到另一个进程进行解析。我以前只是用 base64 对 xml 进行编码，然后为每个 xml 运行一个单独的 php 进程。 shell_exec('php parse.php' . $base64XML);

这使我能够非常快速地解析这个永无止境的 xml 数据。有点像手动线程。现在我想在 Laravel 中使用相同的功能，但我想知道是否有更好的方法来做到这一点。我相信 Artisan::call('command') 不会将其推到后台。我当然也可以在 Laravel 中执行 shell_exec，但我想知道我是否可以从 Beanstalkd 或类似的解决方案中受益。

所以真正的问题是:如何为 beanstalkd 或 redis 驱动程序设置队列工作线程的数量？就像我想要同时运行 20 个线程一样。如果可能的话更多。

一个不太重要的问题是:多少个线程太多了？如果我有一台可以很好地处理负载的非常高端的专用服务器，那么使用这些工具创建 500 个线程/工作线程会不会在代码级别造成任何问题？

Answer 1

好吧，laravel 队列就是为此而生的。

基本上，您必须创建一个 Job Class .您想要在 xml 文档上完成的所有繁重工作都需要在这里。然后，你从套接字中取出你的 xml，一旦你收到一个文件，you push it on your Queue.

稍后，队列工作人员将从队列中取出它，并完成繁重的工作。

这样做的好处是，如果您排队文档的速度比处理文档的速度快，队列将处理高负载时刻并将任务排队以备后用。

我也不建议您在没有队列的情况下这样做(像您一样使用 fork )。事实上，如果传入的文档过多，您将创建过多的子线程并使您的服务器过载。正确记录这些线程是有风险的，当一个具有固定数量工作人员的简单队列开箱即用地解决所有这些问题时，这是不值得的。