pyspark - 为什么我无法在 Jupyter Notebook 中导入 'pandas_udf'？

Question

我在 Jupyter 笔记本中运行以下代码，但出现 ImportError。请注意，“udf”可以导入到 Jupyter 中。

从 pyspark.sql.functions 导入 pandas_udf

ImportError Traceback (most recent call last) in () ----> 1 from pyspark.sql.functions import pandas_udf

ImportError: cannot import name 'pandas_udf'

有人知道怎么解决吗？非常感谢!

Answer 1

看起来你是自己启动jupyter笔记本，而不是用jupyter笔记本启动pyspark，这是以下命令:

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

如果您的 jupyter 笔记本服务器进程正在另一台计算机上运行，​​也许您想使用此命令使其可用于您服务器的所有 IP 地址。

(注意:如果您的服务器位于公共(public)或不受信任的网络上，这可能是一个潜在的安全问题)

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=0.0.0.0 " pyspark

如果您像这样启动 Jupyter Notebook 后问题仍然存在，我会修改我的答案。