ruby - perform_async 在 sidekiq 中不起作用

Question

我正在尝试使用 sidekiq 在后台处理一些请求(它与 padrino 框架集成)。

我的期望是，一旦调用了 worker，请求处理程序会立即将答案返回给用户。

为了确保它正常工作，我实现了一个 worker，它会在完成处理之前打印一些消息并休眠大约 44 秒(以模拟后台的长时间处理)。

令我惊讶的是，请求一直卡在工作人员完成工作之前。只有在那之后，请求处理程序才能向用户返回答案。

起初我认为 sleep 函数可能是问题所在，所以我将 sleep 函数替换为忙碌的一段时间，但我有相同的行为:请求处理程序挂起，直到工作人员完成其任务。

知道为什么会这样吗？

您可以看到以下内容:

请求处理程序:

get :hardworker, map: '/hardworker' do
  logger.info "I'll call HardWorker"
  HardWorker.perform_async(44)
  logger.info "HardWorker was called"
  return "The job should still be running in background."
end

Sidekiq 工作人员:

class HardWorker
  include Sidekiq::Worker

  def perform(count)

    logger.info "Doing hard work"
    Sidekiq.redis { |c| logger.info "redis location: [#{c.client.location }]" }

    redis_info = Sidekiq.redis { |conn| conn.info }
    logger.info "connected clients: [#{redis_info['connected_clients']}]"

    sleep count

    logger.info "hard work was done"
  end
end

redis 服务器正在运行:

ps -ef | grep redis

返回

redis     1232     1  0 16:54 ?        00:00:09 /usr/bin/redis-server 127.0.0.1:6379

以及 sidekiq 服务器:

bundle exec sidekiq -r ./config/boot.rb -v
2015-06-06T20:31:26.207Z 3343 TID-8614g INFO: Booting Sidekiq 3.3.4 with redis options {:url=>"redis://127.0.0.1:6379/0", :concurrency=>25}

此外，从我放入 worker 的日志中，我们可以看到客户端显然已连接到 redis:

INFO -  redis location: [127.0.0.1:6379]
INFO -  connected clients: [3]

sidekiq 版本:3.3.4Redis 服务器:2.8.4 ruby :2.1.2p95

注意:我在我的 padrino 上安装了 sidekiq 网络工具，它在工作人员执行之前和之后的所有统计数据(已处理、失败、忙碌、排队、重试、计划、死亡)都显示为 0。

示例项目可以从这里下载:https://github.com/plicatibu/sidekiq-problem.git

Answer 1

好吧，我发现了你的错误，在你的 boot.rb 文件中你有这一行:

require 'sidekiq/testing/inline' if RACK_ENV == 'development'

这段代码使用了 Sidekiq 的测试框架，该框架绕过 redis 并几乎将其作为 ruby​​ 类运行(即它永远不会在 redis 上排队)。删除该行并仅在您的测试套件中使用它(如果需要)。

您还需要从 YML 文件中删除该 pid 文件，您不需要它，如果需要，它可能仅用于生产。我的 2cents - 删除它。

一旦你这样做了，你就可以开始了:

这是您向/hardworker 发出获取请求的机架:

[2015-06-07 07:54:25] INFO  WEBrick 1.3.1
[2015-06-07 07:54:25] INFO  ruby 2.2.2 (2015-04-13) [x86_64-darwin14]
[2015-06-07 07:54:25] INFO  WEBrick::HTTPServer#start: pid=74128 port=9292
   INFO -  I'll call HardWorker
   INFO -  HardWorker was called
  DEBUG -       GET (0.0131s) /hardworker - 200 OK
::1 - - [07/Jun/2015:07:55:32 -0400] "GET /hardworker HTTP/1.1" 200 46 0.0291

这是 sidekiq 在后台处理该作业:

─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
          ss
     sss  sss         ss
     s  sss s   ssss sss   ____  _     _      _    _
     s     sssss ssss     / ___|(_) __| | ___| | _(_) __ _
    s         sss         \___ \| |/ _` |/ _ \ |/ / |/ _` |
    s sssss  s             ___) | | (_| |  __/   <| | (_| |
    ss    s  s            |____/|_|\__,_|\___|_|\_\_|\__, |
    s     s s                                           |_|
          s s
         sss
         sss

   INFO -  Running in ruby 2.2.2p95 (2015-04-13 revision 50295) [x86_64-darwin14]
   INFO -  See LICENSE and the LGPL-3.0 for licensing details.
   INFO -  Upgrade to Sidekiq Pro for more features and support: http://sidekiq.org/pro
   INFO -  Starting processing, hit Ctrl-C to stop
  DEBUG -
   INFO -
   INFO -  Doing hard work
   INFO -  redis location: [127.0.0.1:6379]
   INFO -  connected clients: [3]
   INFO -  hard work was done
   INFO -