apache-spark - 使用 Apache Spark 和 OpenCV 进行图像分析

Question

我想对大量图像(数千张)进行一些图像分析，我想尝试使用 Spark 来加快分析速度。出于测试目的，我使用 docker compose 在本地设置独立集群。

我想做一些基本的分析，比如计算梯度、边缘检测等。我可以使用以下方法将图像成功加载到数据框中:

images = spark.read.format("image").option("dropInvalid", True).load("/opt/spark-data/")

我尝试使用 udf 调用 Sobel 等 OpenCV 函数。但是我无法将图像数据加载为 OpenCV 可以使用的格式。

有什么方法可以转换图像数据，以便我可以使用 OpenCV 函数？或者有比使用 OpenCV 更好的方法吗？

Answer 1

我能够在这个 post 的帮助下完成这项工作.

def convertImageGeneric( image, fa , down_width = 500, down_height = 500):
 import numpy as np
 import cv2
 fa = cv2.SIFT_create(400)
 cv2_image = cv2.cvtColor(
       np.reshape(image.data, (image.height, image.width, image.nChannels)), # this handles the image conversion
       cv2.COLOR_BGR2GRAY
      )
 preds = fa.detect( image , None )
 return (image.origin, Vectors.dense(no_more_numpy(preds)) )