python - 如何在使用 pyspark shell 时导入额外的 python 包

Question

我需要在 Pyspark shell 中导入 Airflow 库模块。我在登录 Pyspark shell 时将模块路径包含在 --py-files 中。

pyspark2 --py-files /nas/isg_prodops_work/ABO/abound/prod/anaconda/envs/nas_airflow/lib/python3.5/site-packages/airflow

但是，我仍然收到以下错误:

>>> from airflow.models import Variable
    Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
    ImportError: No module named airflow.models 

我的模块的目录结构如下所示:

airflow
|-- __init__.py
|-- dag(directory)
|-- operators(directory)
|-- models.py 

Answer 1

尝试这个命令:

pyspark2 --py-files /nas/isg_prodops_work/ABO/abound/prod/anaconda/envs/nas_airflow/lib/python3.5/site-packages/airflow/models.py

然后像这样导入:

>>> from models import Variable