mysql - 使用 sidekiq 扩展 ruby​​ 脚本以将数据存储在 MySQL 中？

Question

我有一个脚本可以在几千条记录上正常运行，我开始学习 sidekiq 以帮助定期在数百万条记录上运行它。

我有两张 table ；一张满是汽车零件的表格和另一张包含销售统计数据的表格。我通过公司提供的 API 访问销售统计数据，我的脚本从汽车零件表中获取一行并从零件统计 API 请求数据并将其存储在另一个表中，用于与另一个数据集一起进行报告。

我想知道的是，在使用 sidekiq 时，在我的汽车零件表中标记记录以了解它们已被处理的最佳方式是什么？

我认为使用 1 或 0 进行简单标记可能有效，但添加上次修改日期或添加日期可能更有效？

哪个选项最适合使用 Ruby、Sidekiq 和 MySQL 尽快处理所有记录？

我知道遇到插入问题是 MySQL 是我们一直在研究的一件事，但希望得到一些建议或链接来帮助我们解决问题。

我希望一切都清楚。提前致谢。

Answer 1

I figure that a simple flagging with a 1 or 0 could work but adding a last modified_date or added_date is probably more effective?

您在这里进行了微观优化。过早地，我可能会补充。

I access sales stats via an API provided by the company

与这些 API 调用的成本相比，这些 SQL 调整可能带来的任何性能提升都算不上什么。