python - 使用 spark-commit 执行时导入 pymongo_spark 不起作用

Question

我在使用 spark-submit 运行我的脚本时遇到了问题。主脚本甚至不会运行，因为 import pymongo_spark 返回 ImportError: No module named pymongo_spark

我检查了this thread和 this thread试图找出问题所在，但到目前为止还没有结果。

我的设置:

$HADOOP_HOME 设置为 /usr/local/cellar/hadoop/2.7.1 我的 hadoop 文件所在的位置

$SPARK_HOME 设置为 /usr/local/cellar/apache_spark/1.5.2

我也尽可能地关注了这些线程和在线指南以获取

export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

export PATH=$PATH:$HADOOP_HOME/bin

PYTHONPATH=$SPARK_HOME/libexec/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

然后我用这段代码在我链接的第一个线程中测试

from pyspark import SparkContext, SparkConf
import pymongo_spark

pymongo_spark.activate()

def main():
    conf = SparkConf().setAppName('pyspark test')
    sc = SparkContext(conf=conf)
if __name__ == '__main__':
    main()

然后在终端中，我做了:

$SPARK_HOME/bin/spark-submit --jars $HADOOP_HOME/libexec/share/hadoop/mapreduce/mongo-hadoop-r1.4.2-1.4.2.jar --driver-class-path $HADOOP_HOME/libexec/share/hadoop/mapreduce/mongo-hadoop-r1.4.2-1.4.2.jar --master local[4] ~/Documents/pysparktest.py

mongo-hadoop-r1.4.2-1.4.2.jar 是我按照 this guide 构建的 jar。

我确实遗漏了一些东西，但我不确定我遗漏了什么地方/什么。我在 Mac OSX El Capitan 上本地运行所有内容。几乎可以肯定这无关紧要，但只是想添加它。

编辑:

我也用了另外一个jar文件mongo-hadoop-1.5.0-SNAPSHOT.jar，还是一样的问题

我的命令:

$SPARK_HOME/bin/spark-submit --jars $HADOOP_HOME/libexec/share/hadoop/mapreduce/mongo-hadoop-1.5.0-SNAPSHOT.jar --driver-class-path $HADOOP_HOME/libexec/share/hadoop/mapreduce/mongo-hadoop-1.5.0-SNAPSHOT.jar --master local[4] ~/Documents/pysparktest.py

Answer 1

pymongo_spark 仅适用于 mongo-hadoop 1.5，因此它不适用于 mongo-hadoop 1.4。要使其可用，您还必须将带有 Python 包的目录添加到 PYTHONPATH 中。如果您自己构建了包，它位于 spark/src/main/python/ .

export PYTHONPATH=$PYTHONPATH:$MONGO_SPARK_SRC/src/main/python

其中 MONGO_SPARK_SRC 是包含 Spark 连接器源的目录。

另见 Getting Spark, Python, and MongoDB to work together