hadoop - 如何在 Apache Spark 中使用 Hadoop InputFormats？

Question

我在 Hadoop 中有一个 ImageInputFormat 类，它从 HDFS 读取图像。如何在 Spark 中使用我的 InputFormat？

这是我的ImageInputFormat:

public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> {

    @Override
    public ImageRecordReader createRecordReader(InputSplit split, 
                  TaskAttemptContext context) throws IOException, InterruptedException {
        return new ImageRecordReader();
    }

    @Override
    protected boolean isSplitable(JobContext context, Path filename) {
        return false;
    }
}  

Answer 1

SparkContext有一个名为 hadoopFile 的方法。它接受实现接口(interface) org.apache.hadoop.mapred.InputFormat

的类

它的描述是“为具有任意输入格式的 Hadoop 文件获取 RDD”。

另请查看 Spark Documentation .