JSON 磁盘/内存大小比率

Question

我编写 json 结构的方式使得文件(在进行了一个月的测量后)存储在磁盘上时仍然只有 100 MB 左右。但是现在文件大约是 20mb，但我看到我的脚本需要的内存大约是 200/300 mb。显然，脚本和编译器需要内存，但将 json txt 加载到内存中作为实际的 json 确实会使内存增加到 txt 文件大小的大约 8 倍(使用 process.memoryUsage() 测量)吗？我需要数据不断地保留在内存中，因为其他功能需要根据用户请求提供数据。我只将它保存到文件中作为备份。然而，以这种速度，我的服务器将无法处理该脚本。

谁能证实确实如此？如果是这样，您会建议我如何减少内存负载？

Answer 1

Json 文件大小表示是它当前使用的实际字节数。

RAM 会有所不同。取决于使用的语言和变量类型。 As per documentation ，语言将在分配 RAM 时使用值类型大小。

{"aNumber":1}

在文件中使用 1 字节，但在内存中分配时使用 8 字节(在 Java 中)

为简化起见，您可以估计 RAM 使用量是文件大小乘以最大类型。所以，是的，文件大小乘以八是一个很好的估计。

编辑:

另外，记住变量名(字符串)会占用文件大小，而 ram 指针会占用更多

编辑 2:

如果是这样，您建议我如何减少内存负载？

我们可以使用有关您的系统或需要的更多信息。但粗略地说，信息隔离越多越好。

我有一个包含 3200 个传感器的系统，预计总共有 7000 个。对于我的系统，我的每个“文件输出”都有一百个注册表，每个注册表最多有 10 个字段。这通常意味着一个大约 30kb 的文件，每个文件最多使用 300kb RAM，然后我可以让分布式服务读取一个文件，处理该文件，并根据需要重新输出它。

如果可以，那么每次使用多个数据量较小的文件，处理完一个文件后，转到下一个