java - 将数据集的内容写入 JSON 字符串

Question

我们可以写一个dataset的内容放入 Json 文件中:

DataSet<...> dataset = ...
dataset.write().json("myFile");

假设数据集足够小，有没有办法将内容直接写入String , 一个 Stream或任何类型的 OutputStream ？

可以将数据集写入临时文件夹，然后再次读取数据:

Path tempDir = Files.createTempDirectory("tempfiles");
String tempFile = tempDir.toString() + "/json";
dataset.coalesce(1).write().json(tempFile);        
Path jsonFile = Files.find(Paths.get(tempFile), 1, (path, basicFileAttributes) -> {
    return Files.isRegularFile(path) && path.toString().endsWith("json");
}).findFirst().get();
BufferedReader reader = Files.newBufferedReader(jsonFile);
reader.lines().forEach(System.out::println);

但是有没有更好的方法可以在不使用中间文件的间接寻址的情况下获得相同的结果？

Answer 1

您只需映射数据即可将 Dataset[A] 转换为 Dataset[String]。

您的函数会将 A 转换为其 Json 表示形式(例如，作为 String)。

您可以使用 Jackson 来实现这一点，因为它包含在 Spark 依赖项中。