arrays - 多个 Json 文件或具有多个数组的单个文件

Question

我有一个大的 blob(天蓝色)文件，在一个数组中包含 10k 个 json 对象。由于它的大小，这不会执行。当我希望重新构建它时，我可以在 500-1000 个对象中的每一个中使用单个数组创建多个文件，或者我可以保留一个文件，但将单个数组分解为一个数组数组——可能是 10 个数组每个 1000 个对象。

为简单起见，我宁愿分成多个文件。但是，我认为这值得提出问题，看看答案中是否有值得学习的地方。

Answer 1

我认为这在很大程度上取决于您的用例。您创建的多个文件或多个数组将以某种方式对您的数据进行分区:这些分区将主要​​一起使用还是主要分开使用？ IE。会不会有很多情况你只读取一个或少数几个分区？

如果答案是“是的，我通常只关心少数分区”，那么创建多个文件将使您不必在大多数调用中处理大部分数据。如果答案是“不，我通常需要 1.) 我的所有/大部分数据或 2.) 我所有/大部分分区的数据”，那么您可能希望保留一个文件以避免打开许多文件每次。

我要补充的是:在后一种情况下，很可能结果是文件结构(一个数组与一个数组数组)不会有太大变化，因为完整扫描是完整扫描是完整扫描等等。如果是这种情况，那么您可能需要开始考虑如何转移到先前对数据进行分区的情况，以便您的调用整齐地落在几个分区内，或者如何转移到不同的数据格式。