python - 派斯帕克 : No module named 'psycopg2._psycopg'

Question

我在 PySpark 作业中使用 Psycopg2 并在包含所有依赖项的 zip 文件中提供它。构建脚本执行此操作:

python -m pip install -t build/dependencies -r src/requirements.txt

requirements.txt 在哪里

SQLAlchemy
psycopg2

然后压缩 dependencies，我通过 --py-files 将其提供给 spark-submit。当我在 EMR 上运行该作业时，SQLAlchemy 导入正常，但出现此错误:

ImportError: No module named 'psycopg2._psycopg'

如果我从需求中删除 psycopg2 并手动将其安装在 EMR 上(通过 pip)，它就可以正常工作。我的机器和 EMR 上的 Python 版本都是 3.4.7，但我的机器是 Mac(而 EMR 是 linux)。

Answer 1

这对我有用。

df = sqlContext.read.format('jdbc').options(url='jdbc:postgresql:dbserver', dbtable='schema.tablename').load()

sqlalchemy 连接对我不起作用。

create_engine("postgresql+psycopg2://user:password@/dbname")

尝试将您的数据库连接到 sqlcontext，会起作用。