apache-spark - 如何使用 virtualenv 发送和运行 spark-submit

Question

我正在尝试在独立集群上提交 spark 作业，我将 virtualenv 压缩为 venv.zip 并将作业作为 shell 脚本提交

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python 
spark-submit \
--jars ojdbc6.jar \
--master spark://HOST:7077 \
--archives venv.zip#venv \
job.py

但我一直发现即使它存在于 venv 中并且在本地模式下运行良好，也找不到模块。

我也试过登录工作节点并尝试运行venv，手动激活virtualenv后，可以找到模块，似乎脚本正在使用系统范围的python，我怎么能解决这个问题？

Answer 1

我可以用下面的代码片段来做，基本上，我压缩了 venv 内容并将 venv 放在 HDFS 中(如果你没有 HDFS 或节点的任何共享可访问位置)如果你没有...那么我认为你可以在同一路径下的所有节点上克隆虚拟环境

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.executorEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.yarn.dist.archives=hdfs:///user/sw/python-envs/venv.zip#venv \
--conf spark.yarn.appMasterEnv.HADOOP_USER_NAME=hdfs \
--conf spark.executorEnv.HADOOP_USER_NAME=hdfs \
--master yarn \
--deploy-mode cluster \
--py-files p1.py,p2.py \
main.py