java Spark并行化方法参数

Question

我正在用 java 编写一个测试程序，并且想要并行化一个列表对象。

SparkSession spark = SparkSession
      .builder()
      .master("local[*]")
      .appName("JavaWordCount")
      .getOrCreate();

System.out.println("hello");
List<String> l = new ArrayList<>(5);
l.add("view.txt");
spark.sparkContext().parallelize(l,1,"test");

The method parallelize(Seq, int, ClassTag) in the type SparkContext is not applicable for the arguments (List, int, String)

我不确定第三个参数是什么 - 类标签

Answer 1

一般来说，在使用 Java 时，您应该更喜欢 JavaSparkContext 方法:

import org.apache.spark.api.java.JavaSparkContext;

JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());

JavaRDD<String> rdd = jsc.parallelize(l, 1);

SparkContext 主要用于 Scala 使用。