java - 将 Dataset 中的值获取到 .txt 文件中(使用 Java)

Question

这个问题已经有答案了:

Write/store dataframe in text file (5 个回答)

已关闭 4 年前。

我是新来的，所以我希望能够帮助您，并在可能的情况下得到帮助。

我使用 Java 中的 Spark SQL 和 ML Spark 制作了一个 Apache Spark 项目。我已经完成了这个项目，但输出有一些问题。

我有一个Dataset<Row>最终(最终是数据集的名称)以及一些信息。当我使用show()时使用此数据集( finals.show(); )我得到以下信息:

    [2018026,1,9.93,127.66,5.16,245.8,4.426875,6.91]
    [2018026,1,9.97,127.89,5.36,244.8,4.426875,6.91]
    [2018026,1,6.76,113.54,6.42,228.8,4.426875,6.91]
    [2018026,1,6.92,114.2,6.81,224.0,4.426875,6.91]
    [2018026,1,6.86,113.98,6.65,226.0,4.426875,6.91]
    [2018026,1,6.81,113.76,6.58,227.4,4.426875,6.91]
    [2018026,1,6.97,113.49,6.58,225.8,4.426875,6.91]
    [2018026,1,6.97,114.42,6.67,221.6,4.426875,6.91]

(“,”是字段之间的分隔符)。好吧，我试图在文本文件中获取此输出，例如projectSpark.txt，但对我来说这是不可能的。如何在文本文件中获取此信息？我应该迭代 Dataset<Row>或者有一些方法可以做到这一点？

非常感谢大家。

问候。

Answer 1

在Java中，你可以做类似的事情:

finals.javaRDD().map(x -> x.toString()).saveAsTextFile("your/path");

它将您的数据集保存在单个文本文件中。