node.js - 仅当新数据可用时调用外部 API

Question

我正在为我的用户提供从外部 API 获取的数据。现在，我不知道这个 API 何时会有新数据，例如，使用 Node 来实现这一点的最佳方法是什么？

我已经尝试过 setInterval 和 node-schedule 来做到这一点并使其正常工作，但是对于 CPU 来说不是很昂贵吗？例如，在一天中，我会每分钟访问此端点检查新数据，但它可能每五分钟或更长时间就会有新数据。

问题是，这个外部 API 不是由我运行的。是否是每分钟检查更新的唯一方法？是否有任何模块可以在 Node 中做到这一点或任何更适合的方法？

用例 1:为该国的每个城市调用天气 API，并在给定城市下雨时将数据保存到我的数据库中。

用例 2:当给定的 Philips Hue 灯打开时，向用户发送通知，而无需点击端点来检查它是否打开。

很高兴花时间讨论这个问题。

Answer 1

如果此外部 API 无法在有新数据时通知您，那么您唯一能做的就是“轮询”它以检查新数据。

您必须确定特定应用程序中轮询的“有效设计”是什么，并考虑到数据类型和客户端的需求(新数据可接受的延迟是多少)。

您还需要确保您的服务没有违反轮询方案的任何服务条款，也没有违反速率限制，如果您“过度”使用服务器，可能会拒绝您访问服务器。

Would the only way to check for updates hitting it every minute?

除非 API 提供某种通知功能，否则除了按一定时间间隔轮询之外没有其他方案。每分钟轮询一次的速度相当快。您的客户真的需要不到一分钟的信息吗？或者，如果信息长达 5 分钟，真的没有什么区别吗？

例如，在您的天气示例中，客户端真正需要的温度更新频率可能不会超过每 10-15 分钟一次。

Is there any module that can do that in Node or any approach that fits better?

没有。并不真地。您可能只需要使用某种计时器(在 Node.js 应用程序中重复 setTimeout() 或 setInterval() 来重复执行 API 操作。

Use case: Call a weather API for every city of the country and just save data to my db when it is going to rain in a given city.

尝试从外部 API 预先保存所有可能的数据可能是一个失败的提议。您实际上是在尝试从外部 API 中“抓取”所有数据。这可能违反服务条款，也可能违反速率限制。而且，它不太实用。

相反，您可能希望根据需要获取数据(当客户端请求 Phoenix 的数据时，然后，只有那时，您才开始收集 Phoenix 的数据)，然后一旦建立了对某种类型数据(特定城市的温度)的需求，那么您可能希望更定期地预缓存该数据，以便您可以通知客户端更改。如果一段时间后没有客户端向 Phoenix 请求数据，您将不再请求 Phoenix 的更新，直到客户端再次提出需求。

I have tried setInterval's and node-schedule to do that and got it working, but isn't it expensive for the CPU? For example, over a day I would hit this endpoint to check for new data every minute, but it could have new data every five minutes or more.

发出远程网络请求并不是 CPU 密集型操作，即使您每分钟都执行一次。 Node.js 使用非阻塞网络，因此在网络请求期间的大多数时间，Node.js 不执行任何操作，也根本不使用 CPU。唯一会短暂使用 CPU 的时间是当您第一次发送 API 请求，然后当您收到 API 调用返回的结果并需要处理它时。

是否真的需要每分钟“轮询”取决于数据和客户的需求。我会问自己，如果您每 5 分钟检查一次新数据，您的应用程序是否可以正常运行。