node.js - 在后端 Node.js 上安排大量任务

Question

假设我有一个数据库(Neo4j 具体而言是 Node.js 后端)，其中充满了具有开门和关门时间的商店(数百万家)。我需要在适当的时间更新打开或关闭的每个数据库存储条目。那么以稳定且可扩展的方式构建这样一个系统的最佳/通常做法是什么？

设置数百万个 cron 作业？
检查条目是否以固定时间间隔更改？
第三方服务能够在特定时间调用我的后端进行更改吗？

Answer 1

您要问的是如何权衡将信息写入数据库(可能有数百万个对象)，以便在将来进行查询时提高性能。这是一个古老的权衡，没有适用于所有情况的固定答案。这里的一切都是一个权衡。

一方面，应该不惜一切代价避免数百万次数据库写入，因为这是您可以对数据库服务器执行的最昂贵的操作。

另一方面，必须执行大量非常低效的查询也很少达到最优化的位置。

因此，这实际上取决于评估您应该在权衡空间中的哪个位置进行设置。

您会问自己以下问题，以确定权衡的方向:

1. 您的查询现在是否太慢并且急需改进性能。
2. 如果您打算重组部分数据库以使“太慢”的查询更快，那么查询速度的性能提高了多少(您必须测量之前/之后的性能来分析这一点)。
3. 为了保持优化，您需要多久更改一次数据库中的对象以及更改多少对象。如果每天只有几个对象发生变化，那么每天运行的优化就很容易。但是，如果数以百万计的数据一直在变化，那么您可能不想那么频繁地写入数据库。
4. 您的网站/数据库每天的运行速度是否非常缓慢(例如目标市场的半夜)，您是否有能力对其进行某种“批量”工作以对其进行优化，而不影响正常使用以明显的方式控制数据库？
5. 您能否设计一个单独的优化应用来优化数据库，但要以缓慢且稳定的速度进行优化，以免对数据库的实时使用产生负面影响？

因此，决定在多大程度上重构数据库以提高查询性能是这些不同因素之间的持续权衡。您可能只能通过设计一些测试并进行一系列测量来找到理想的权衡点。请记住，过早的优化(在证明您有值得解决的问题之前进行优化)几乎是浪费代码编写和测试时间，而这些时间本可以更好地花在更有值(value)的任务上。但是，解决通过测试证明是可测量且真实的问题可以非常有效地利用资源。

关于你原来的问题:

Setting millions of cron jobs?

没有。这不会是一个性能良好的解决方案。

Checking for entries to change in fixed time intervals?

这是一种可能性。这取决于您需要数据库的“最新”程度。如果您可以每小时运行某种优化过程，并且可以管理对数据库的写入，以便它们不会对数据库造成过度的压力，从而不会对数据库的实时使用产生不利影响，那么这可以工作。更好的是，当您的数据库不经常使用时，您可以在晚上运行某种优化过程。

Third party service able to call my backend for changes on specific time?

我不确定您所说的第三方服务到底是什么意思。无论您在做什么，您可能都不希望数据库优化代码在充当应用程序服务器的主 Node.js 进程中运行。它应该是一个单独的应用程序/进程，可以使用与主 Node.js 服务器不同的 CPU。