c# - 使用 System.Text.Json 即时格式化 JSON 流

Question

我有一个未缩进的 Json 字符串，例如:

{"hash":"123","id":456}

我想缩进字符串并将其序列化为 JSON 文件。天真地，我可以使用 Newtonsoft 缩进字符串，如下所示。

using Newtonsoft.Json.Linq;

JToken token = JToken.Parse(json);
var formattedJson = JObject.Parse(token.ToString()).ToString();

但是，由于我使用了大量的大型 JSON 对象，我主要对可以对数据流进行操作的解决方案感兴趣。出于性能原因，我决定使用 System.Text.Json，我想知道它是否具有用于处理数据流的开箱即用功能。

在推出我自己的解决方案之前，我想知道是否有任何方法具有大部分开箱即用的功能，可以在将输入流写入存储时理想地拦截输入流(即即时转换)。或者，我可以处理序列化流，但这需要通读文件、进行必要的更改并写入输出文件，而不需要先将整个 JSON 反序列化到内存中。我主要对第一种方法感兴趣，因为 (a) 我将通过 JSON 一次，并且 (b) 不需要存储中间文件(流 -> 未格式化的 JSON -> 格式化的 JSON)。

动机

上游服务正在流式传输大量 JSON 格式的信息。下游服务逐行读取 JSON 并提取所需字段；大概是由于 JSON 文件的体积较大，这使得它们在内存中反序列化不切实际/不可行。但是，流式 JSON 有一些约定，以使其与下游服务兼容。所需的约定之一是缩进和每行一个键值对。似乎上游服务正在丢弃所有格式以流式传输更少的比特，但下游服务依赖于格式来提取信息。上游和下游服务都不是我能控制的。我正在编写的服务的目标是坐在中间，对流式传输的 JSON 进行必要的约定(缩进等格式就是其中之一)，以使其与下游服务兼容。

如上所述，将流式传输的 JSON 反序列化为一个对象，进行必要的更改，然后将更新后的 JSON 序列化到磁盘，这似乎是一个显而易见的解决方案，但是，考虑到数据的大小和数量，这种方法是不切实际/不可行的对于我的申请。

我可以想到一个中间层，它可以动态处理流式传输的 JSON 并在将位写入持久性媒体之前进行更改。但是，在走这条路之前，我想仔细检查 System.Text.Json 中是否有任何开箱即用的功能来处理信息流。

更新

为了清晰和强调要点，问题已进行了很大程度的更新:System.Text.Json 中是否有用于处理 JSON 流的开箱即用功能？

Answer 1

使用 System.Text.Json 似乎没有简单的方法，因为您不能将 Stream 对象与 System.Text.Json 一起使用.Utf8JsonReader 直接。要绕过此限制，您需要将文件内容与 System.Text.Json.JsonDocument 对象一起放入内存，显然，它会占用大量内存。

目前，根据网上的资料，内存效率的唯一解决方案是使用 Newtonsoft.Json 库。

using (var streamReader = new StreamReader(sourceFilePath))
using (var jsonTextReader = new JsonTextReader(streamReader))
using (var streamWriter = File.CreateText(destinationFilePath))
using (var jsonTextWriter = new JsonTextWriter(streamWriter))
{
    jsonTextWriter.Formatting = Formatting.Indented;

    while (jsonTextReader.Read())
    {
        jsonTextWriter.WriteToken(jsonTextReader);
    }
}

使用 1MB 缓冲区比默认的 4kB 快得多。在 5 分钟 05 秒内将一个 6.33 GB 的文件缩进到 13.7 GB，总共大约 200.000.000 行。它在硬盘上读取和写入，在 Visual Studio(调试版本)中运行并且仅使用 17MB RAM。由于空间限制无法在 SSD 上进行测试。

string filename = @"VeryBig.json";
using FileStream inputFileStream = new(filename, FileMode.Open, FileAccess.Read, FileShare.Read, 1 * 1024 * 1024);
using StreamReader streamReader = new(inputFileStream);
using JsonTextReader jsonTextReader = new(streamReader);

string filenameOutput = Path.ChangeExtension(filename, ".indented.json");
using FileStream outputFileStream = new(filenameOutput, FileMode.OpenOrCreate, FileAccess.Write, FileShare.Read, 1 * 1024 * 1024);
using StreamWriter streamWriter = new(outputFileStream);
using JsonTextWriter jsonTextWriter = new(streamWriter);

jsonTextWriter.Formatting = Formatting.Indented;

while (jsonTextReader.Read())
{
    jsonTextWriter.WriteToken(jsonTextReader);
}