javascript - 在 Node.js 上的 JS 中，将数据、数组/文件/其他地方的 "a lot"放在哪里

Question

这可能是一个“愚蠢”的问题，但我是第一次处理“大量”数据。我想做的:查询World Bank API问题:API 在搜索/过滤方面非常不灵活...我可以自行查询每个国家/地区/指标，但我会生成很多调用。所以我想立即下载有关一个国家或指标的所有信息，然后在机器上对它们进行排序。我的问题:在哪里/如何存储数据？我可以简单地将它放入数组中吗，我需要担心大小吗？我应该写入临时 json 文件吗？或者您还有其他想法吗？

感谢您的宝贵时间!

示例:20 个国家，15 个指标

如果我查询每个国家/地区本身，我将生成 20*15 个 API 调用，如果我为 1 个指标调用所有国家/地区，则会产生 15 个 API 调用。我会得到很多“垃圾”数据:/

Answer 1

如果满足以下条件，则可以将 RAM 中的数据保存在适当的数据结构(数组或对象)中:

1. 这些数据只是暂时需要(在一项特定操作期间)，或者在您的服务器重新启动时可以轻松地再次检索。
2. 如果您的 Node.js 进程有足够的可用 RAM 将数据存储在 RAM 中。在典型的服务器环境中，可能有超过 1 GB 的可用 RAM。我不建议使用所有这些，但您可以轻松使用其中 100MB 进行数据存储。

将其保存在 RAM 中可能比将其存储在磁盘上更快、更容易交互。显然，如果数据位于 RAM 中，则在服务器重新启动后数据将不会持久。

如果长期需要数据，并且您只想获取一次，然后就可以一遍又一遍地访问数据，即使您的服务器重新启动，或者如果数据超过数百 MB，或者您的服务器环境不允许没有大量 RAM，那么您需要将数据写入适当的数据库，数据将保留在该数据库中，并且您可以根据需要查询它。

如果您不知道数据有多大，可以编写代码将其临时放入数组/对象中，并在数据加载后观察 Node.js 进程的内存使用情况。