java - 从 Java 中的 Spark 数据集中获取唯一单词

Question

我正在使用 Apache Spark 2 对一些文本进行标记。

Dataset<Row> regexTokenized = regexTokenizer.transform(data);

它返回字符串数组。

Dataset<Row> words = regexTokenized.select("words");

示例数据如下所示。

+--------------------+
|               words|
+--------------------+
|[very, caring, st...|
|[the, grand, cafe...|
|[i, booked, a, no...|
|[wow, the, places...|
|[if, you, are, ju...|

现在，我想得到所有独特的单词。我尝试了几个过滤器、flatMap、map 函数和reduce。我无法弄清楚，因为我是 Spark 新手。

Answer 1

根据 @Haroun Mohammedi 的回答，我能够用 Java 解决这个问题。

Dataset<Row> uniqueWords = regexTokenized.select(explode(regexTokenized.col("words"))).distinct();
uniqueWords.show();