ruby-on-rails - 告诉 Sidekiq 使用所有可用的 Heroku worker

Question

我需要尽快批处理大量文件(数百万条数据库记录)。为此，我将文件分成 3 个目录，并使用标准配置(无配置文件)设置 Sidekiq。

然后我启动了 3 个 Heroku worker 并调用了 3 个方法，这启动了 3 个 Sidekiq worker，它们都带有“默认”队列。最初，Sidekiq 使用 2 个 Heroku worker，一段时间后它决定只使用 1 个 worker。

我如何强制 Sidekiq 使用所有 3 个 worker 来尽快完成工作？

谢谢

Answer 1

我在本页底部找到了解决方案:http://manuelvanrijn.nl/blog/2012/11/13/sidekiq-on-heroku-with-redistogo-nano/

# app/config/sidekiq.yml
:concurrency: 1

# Procfile    
web: bundle exec unicorn -p $PORT -c ./config/unicorn.rb
worker: bundle exec sidekiq -e production -C config/sidekiq.yml

此外，如果您有很多 worker 和一个免费/便宜的 Redis 实例，请确保限制每个 worker 到 Redis 服务器的连接数:

# app/config/initializers/sidekiq.rb
require 'sidekiq'

Sidekiq.configure_client do |config|
  config.redis = { :size => 1 }
end

Sidekiq.configure_server do |config|
  config.redis = { :size => 2 }
end

您可以在这里计算最大连接数:http://manuelvanrijn.nl/sidekiq-heroku-redis-calc/