node.js - 排序时流式传输大数据

Question

我有大量数据，因此我无法将所有数据保存在内存中，而且我总是会出现内存不足的错误；显然，解决方案之一是在 Node.JS 中使用流；但流式传输是不可能的(据我所知)，而排序是我应用于我的数据的功能之一；是否有任何算法可以分而治之算法，我可以将其用于流式传输和排序的组合(这是我应用于数据的功能之一？)

Answer 1

您可以使用 Kinesis 流式传输数据并使用 Kinesis Client Library , 或 subscribe a Lambda function to your Kinesis stream并逐步维护排序的物化 View 。存储已排序物化 View 的位置以及如何划分数据将取决于您的应用程序。如果您不能存储整个排序的物化 View ，您可以使用 ScrollView 。如果您的数据是时间序列的，或者具有其他一些自然顺序，您可以将有序属性的范围划分为 block 。然后，您可以有例如 1 天或 1 小时排序的数据 block 。换句话说，选择允许您根据需要将信息保留在内存中的已排序分割。