java - 如何将 JavaRDD 转换为 JavaRDD>？

Question

JavaRDD<List<String>> documents = StopWordsRemover.Execute(lemmatizedTwits).toJavaRDD().map(new Function<Row, List<String>>() {
    @Override
    public List<String> call(Row row) throws Exception {
        List<String> document = new LinkedList<String>();
        for(int i = 0; i<row.length(); i++){
            document.add(row.get(i).toString());
        }
        return  document;
    }
});

我尝试使用此代码来实现它，但我得到了 WrappedArray

[[WrappedArray(happy, holiday, beth, hope, wonderful, christmas, wish, best)], [WrappedArray(light, shin, meeeeeeeee, like, diamond)]]

如何正确制作？

Answer 1

您可以使用getList方法:

Dataset<Row> lemmas = StopWordsRemover.Execute(lemmatizedTwits).select("lemmas");
JavaRDD<List<String>> documents = lemmas.toJavaRDD().map(row -> row.getList(0));

其中 lemmas 是包含词形还原文本的列的名称。如果只有一列(看起来就是这种情况)，您可以跳过select。如果您知道列的索引，您也可以跳过 select 并将索引传递给 getList 但这很容易出错。

您当前的代码迭代的是Row，而不是您尝试提取的字段。