javascript - javascript中如何处理海量数组

Question

我正在尝试找出在 JavaScript 中处理大型数据集的最佳策略是什么。我的文件包含四个小时的数据，间隔为 100 毫秒。

这会变成一个一维数组，但是我无法立即加载所有内容。我应该尝试将其拆分为更小的数组吗？是否有最佳数组大小？

如有任何建议，我将不胜感激，这是我第一次处理此类问题。有些数组只有 500kb，但它们仍然不会作为单个模块导出加载。 AJAX 是否由于某种原因工作得更好？如果是这样为什么？

Answer 1

您可以使用 Response 的 fetch() 和 .getReader() 属性，它返回一个 ReadableStream ，以流的形式读取数据。

fetch("/path/to/server")
.then(response => response.body.getReader())
.then(reader => {
  const processStream = ({done, value}) => {
          if (done) {
            return reader.closed;
          }
          // do stuff with `value`:`Uint8Array` chunk of data
          return reader.read().then(processStream);
        }
  return reader.read().then(processStream);                
})
.then(() => "done reading stream")
.catch(err => console.error(err));