python - 在 python shell 中导入 pyspark

Question

这是另一个论坛上其他人的问题的副本，从未得到回答，所以我想我会在这里重新提问，因为我有同样的问题。 (见 http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736)

我已经在我的机器上正确安装了 Spark，并且在使用 ./bin/pyspark 作为我的 python 解释器时，我能够使用 pyspark 模块运行 python 程序而不会出错。

但是，当我尝试运行常规 Python shell 时，当我尝试导入 pyspark 模块时，我收到此错误:

from pyspark import SparkContext

它说

"No module named pyspark".

我该如何解决这个问题？是否需要设置一个环境变量以将 Python 指向 pyspark 头文件/库/等？如果我的 spark 安装是/spark/，我需要包含哪些 pyspark 路径？还是只能从 pyspark 解释器运行 pyspark 程序？

Answer 1

假设以下之一:

• Spark 已下载到您的系统上，并且您有一个环境变量 SPARK_HOME 指向它
• 您已运行 pip install pyspark

这是一个简单的方法(如果你不关心它是如何工作的!!!)

Use findspark

1. 转到你的 python shell

   pip install findspark
   
   import findspark
   findspark.init()
   

2. 导入必要的模块

   from pyspark import SparkContext
   from pyspark import SparkConf
   

3. 完成!!!