java - 如何将图像从HDFS加载到Spark

Question

我想将HDFS中的图像加载到spark的RDD中。
然后使用Spark处理这些图像。

我测试了:

JavaPairRDD<String, String> pairRdd = jsc.wholeTextFiles("hdfs://cluster-1-m/user/username/images/"); 

将图像从HDFS加载到Spark的RDD。

然后，当我调用imread方法读取图像时:

Mat image = imread(value._1()); // value is the tuple2<String, String> comming from pairRdd  

我发现图像为空!

我在用:

Java

Spark 2.0.2

Hadoop 2.7.3

Answer 1

该图像为空，因为value._1()是HDFS路径，而不是JavaCV期望的本地文件。从HDFS的 Angular 来看，它不是“整个文件”，因为它们被分解并分布在块中。

您需要先从HDFS下载文件，然后才能使用JavaCV在本地对其进行处理。

使用本地Hadoop API代替Spark，您可以做到这一点。

Copying file from HDFS to Local Machine

或者，您可以尝试将value._2()的内容流式传输到File对象。 (实际上，您可能想要binaryFiles(path)方法来代替非文本的任何内容，例如图像)。

换句话说，除了扫描HDFS目录之外，您这里没有“使用Spark”。另一种解决方案是通过RDD上的map()，通过JAR文件将JavaCV打包到Spark代码中，然后您需要将镜像下载到Spark执行程序，如前所述。