ruby-on-rails - 将一个巨大的字符串作为参数传递给 Sidekiq worker 是个好主意吗？

Question

我正在开发一个scraper，它遍历网站并在 Sidekiq worker 中解析网站的特定部分。想象这样一种情况，当 scraper 访问一个包含 10 个我感兴趣的元素的网站，并且每个元素都在 Sidekiq 中排队。目前我将元素的源代码作为参数传递，稍后将加载到 Nokogiri 中。我的问题是——将一个巨大的字符串作为参数传递给 Sidekiq worker 是个好主意吗？字符串长度始终在 77,000-80,000 个字符之间，因此它非常大。或者我应该把它存储在一个临时表中，然后在 Nokogiri 加载之前找到具体的记录？

Answer 1

我建议将字符串存储在 S3(或任何其他对象存储)上并使用返回的 URL 来获取字符串并处理作业。

通过这种方式，您可以确保小型 Redis 服务器可以支持许多并发的 sidekiq 作业，并且不会耗尽 RAM。