java - 如何在 Java 中使用 Spark 的 .newAPIHadoopFile()

Question

我正在尝试在 spark 作业中读取 lzo 文件。
我的 spark 版本是 1.6.0 (spark-core_2.10-1.6.0-cdh5.7.1)。

这是我的java代码:

JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("ReadLzo"));
JavaPairRDD <NullWritable, Text> lines = sc.newAPIHadoopFile(args[0],LzoTextInputFormat.class,NullWritable.class,Text.class,new Configuration());

但是我得到一个编译时异常:

The method newAPIHadoopFile(String, Class, Class, Class, Configuration) in the type JavaSparkContext is not applicable for the arguments (String, Class, Class, Class, Configuration)

那么在 Java 中使用 JavaSparkContext.newAPIHadoopFile() 的正确方法是什么？

Answer 1

没有保证，但是 LzoTextInputFormat 扩展了 TextInputFormat，其 Key 是 LongWritable，value 是 Text。

确保您的导入语句也是正确的类型。特别是对于 Text