python - pyspark 导入错误 : cannot import name accumulators

Question

目标:我试图让 apache-spark pyspark 在我的 pycharm IDE 中得到适当的解释。

问题:我目前收到以下错误:

ImportError: cannot import name accumulators

我正在关注以下博客以帮助我完成整个过程。 http://renien.github.io/blog/accessing-pyspark-pycharm/

由于我的代码采用的是 except 路径，我个人放弃了 try: except: 只是为了查看确切的错误是什么。

在此之前，我收到以下错误:

ImportError: No module named py4j.java_gateway

只需在 bash 中输入“$sudo pip install py4j”即可解决此问题。

我的代码目前看起来像下面的代码块:

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="[MY_HOME_DIR]/spark-1.2.0"

# Append pyspark to Python Path
sys.path.append("[MY_HOME_DIR]/spark-1.2.0/python/")

try:
    from pyspark import SparkContext
    print ("Successfully imported Spark Modules")

except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

我的问题:
1.这个错误的来源是什么？是什么原因？ 2. 我该如何补救这个问题，以便我可以在我的 pycharm 编辑器中运行 pyspark。

注意:我目前在pycharm中使用的解释器是Python 2.7.8 (~/anaconda/bin/python)

提前致谢!

唐

Answer 1

围绕变量PYTHONPATH，指定python模块搜索路径。

主要是pyspark运行良好，可以引用shell脚本pyspark，看到PYTHONPATH设置如下。

PYTHONPATH=/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip:/usr/lib/spark/python.

我的环境是 Cloudera Qickstart VM 5.3。

希望这对您有所帮助。