php - Beanstalkd + 主管 + laravel : Queue processing with more than 10000 jobs an hour

Question

我在 Larave 5.2 中有一个项目，我正在使用:

• bean 茎
• 主管
• Laravel 5.2
• 4GB RAM 的 digital ocean 主机

项目主要基于webhooks。其他网站调用我们的 webhook，我将这些 webhook 添加到队列中。大约每小时有 10000 个工作被添加到队列中。

我在主管配置中设置了 50 个 num_process。

您能否建议我如何快速处理队列中的作业。这样我就不必等待几个小时来处理我的工作。

这是队列中当前状态的截图

非常感谢任何帮助。

谢谢

主管配置:

[program:laravel_queue]
command=php /var/www/html/nivesh/artisan --env=production --timeout=3600 queue:listen --queue=important,urgent,high,default
autostart=true
autorestart=true
process_name=%(program_name)s_%(process_num)s
numprocs=55
stderr_logfile=/var/log/laraqueue.err.log
stdout_logfile=/var/log/laraqueue.out.log
priority=999
numprocs_start=55
startsecs=0
redirect_stderr=true

Answer 1

每次加载框架时，Laravel 都会显着影响队列速度。当您在队列中收听时会发生这种情况。

您应该使用 --daemon flag 运行队列避免为每个队列条目重新加载框架:

[program:laravel_queue]
command=php /var/www/html/yopify/artisan --env=production --timeout=3600 queue:work --queue=important,urgent,high,default --daemon
autostart=true
autorestart=true
process_name=%(program_name)s_%(process_num)s
numprocs=55
stderr_logfile=/var/log/laraqueue.err.log
stdout_logfile=/var/log/laraqueue.out.log
priority=999
numprocs_start=55
startsecs=0
redirect_stderr=true

也可以归结为您的主管作业配置文件，因为您使用的一些参数已经设置为默认值:

[program:laravel_queue]
command=php /var/www/html/yopify/artisan --env=production --timeout=3600 queue:work --queue=important,urgent,high,default --daemon
process_name=%(program_name)s_%(process_num)s
numprocs=55
stderr_logfile=/var/log/laraqueue.err.log
stdout_logfile=/var/log/laraqueue.out.log
numprocs_start=55
startsecs=0
redirect_stderr=true

我建议您使用 user 参数，因为您当前的作业以 root 用户身份运行 - 这可能不需要以如此高的权限运行您的队列，我认为这是一种安全性风险。我建议将其设置为拥有 /var/www/html/yopify/

中文件的用户