java - 如何修复 "hdfs://192.123.81.123:9000/atos/sample.pdf not a SequenceFile"

Question

您好，我从 Apache Spark 开始，我从 HDFS 读取 PDF 时遇到问题

我尝试使用二进制文件解决我的问题，但我不知道如何实现，所有示例都是用scala语言编写的。我听说Apache Tika提供了从二进制文件读取PDF的功能，但是只要我不知道如何读取这个pdf文件，这些知识就没用了，现在我正在使用PDFBox

        SparkConf sparkConf = new SparkConf().setAppName("spark-AI").setMaster("local[*]");
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
        JavaRDD<File> pdfFiles = javaSparkContext.objectFile("hdfs://192.123.81.123:9000/atos/sample.pdf");
        JavaRDD<PDDocument> pdfDocuments = a.map(file -> PDDocument.load(file));
        JavaRDD<String> pdfText = pdfDocuments.map(document -> new PDFTextStripper().getText(document));

实际输出是“java.io.IOException: hdfs://192.123.81.123:9000/atos/sample.pdf not a SequenceFile”

Answer 1

我通过使用 .binaryFile(path) 方法解决了我的问题，该方法返回 JavaPairRDD