java - 如何获取变量中的数据帧值

Question

我在 Java 中使用 spark SQL 创建了一个数据框。

Dataset<Row> dateDF = spark.sql("select dates from dim_date where dates between '2017-01-01' and '2017-01-04'");

当我使用 show() 方法时，它会在新行中返回每个日期。我知道它基本上是一栏。

我希望这些值在一个带有单引号的字符串变量中，如下所示:

'2017-01-01','2017-01-02','2017-01-03,'2017-01-04'

我怎样才能做到这一点？

Answer 1

您可以选择您的列，使用 as 映射到一个字符串并收集到一个列表。我认为将 String 列表转换为单个 String 之后应该不是问题:

dateDF.select("dates").as(Encoders.STRING()).collectAsList() //... and so on

在 Java 8 上，您可以使用以下方法将值合并为一个字符串:

dateDF.select("dates").as(Encoders.STRING()).collectAsList().stream().collect(Collectors.joining(","));