java - Spark Java 中的映射分区

Question

我有一个JavaRDD。我正在尝试执行一个 mapPartition 并将每个分区的每一行传递给一个以 String 作为参数的函数。

rdd.mapPartitions((Iterator<String> iter) -> {
            Dummy dummy = new Dummy();
            Iterable<String> iterable = () -> iter;
            return StreamSupport.stream(iterable.spliterator(), false)
                    .map(s -> dummy.method(s)) // or whatever transformation
                    .iterator();
        });

但我无法在 map 内调用我的类函数(dummy.method)。我该如何解决这个问题？

Answer 1

将 Dummy dummy = new Dummy(); 移动到流的映射内。