python - 如何在 pyspark 中获取 Python 库？

Question

我想在 pyspark 中使用 matplotlib.bblpath 或 shapely.geometry 库。

当我尝试导入它们中的任何一个时，出现以下错误:

>>> from shapely.geometry import polygon
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
ImportError: No module named shapely.geometry

我知道该模块不存在，但如何将这些包引入我的 pyspark 库？

Answer 1

在 Spark 上下文中尝试使用:

SparkContext.addPyFile("module.py")  # Also supports .zip

引自docs :

Add a .py or .zip dependency for all tasks to be executed on thisSparkContext in the future. The path passed can be either a localfile, a file in HDFS (or other Hadoop-supported filesystems), or anHTTP, HTTPS or FTP URI.