python - HDFS的图像数据帧用于图像分类

Question

我正在尝试使用Python和Spark编写图像分类算法，我正在关注this教程，该教程取材于官方数据砖documentation，在本地运行时效果很好。

我现在的问题是，在群集上转移算法时，我必须以.jpg格式从HDFS上的两个文件夹中加载图像，而在示例中找不到以本地方式创建数据框的方法。

我正在寻找此代码的替代品:

from sparkdl import readImages
jobs_df = readImages(img_dir + "/jobs").withColumn("label", lit(1))

Answer 1

它应该与从本地读取文件几乎相同。

下面是该库的实现。它在内部使用binaryFiles api加载二进制文件。 API文档(binaryFiles)表示它也支持Hadoop文件系统。

 rdd = sc.binaryFiles(path, minPartitions=numPartitions).repartition(numPartitions) 

希望这可以帮助。