apache-spark - 结合 PyCharm、Spark 和 Jupyter

Question

在当前设置中，我使用 Jupyter笔记本具有 pyspark 的服务器配置文件以使用 Spark。这一切都很好。然而，我正在做一个相当大的项目，笔记本环境对我来说有点不足。我发现 PyCharm 允许您在 IDE 中运行笔记本，与 Jupyter 相比，它为您提供了完整 IDE 的更多优势。

在最好的情况下，我将在本地运行 PyCharm，而不是在网关上运行远程桌面，但使用网关将是一个可接受的替代方案。

我首先尝试让它在网关上工作。如果我的 (spark) Jupyter 服务器正在运行，IP 地址设置正确 127.0.0.1:8888我创建了一个 .ipynb文件，在我输入一行并按回车键(不运行它，只需添加一个换行符)后，我在启动 pycharm 的终端中收到以下错误:

ERROR - pplication.impl.LaterInvocator - Not a stub type: Py:IPNB_TARGET in class org.jetbrains.plugins.ipnb.psi.IpnbPyTargetExpression

谷歌搜索不会让我到任何地方。

Answer 1

通过在 OS X 上通过终端安装 spark，我能够让所有三个工作正常工作。然后我将以下包添加到 PyCharm 项目解释器:findspark、pyspark。

用

import findspark
findspark.init()
import pyspark
import random
sc = pyspark.SparkContext(appName="Pi")
num_samples = 100000000
def inside(p):     
  x, y = random.random(), random.random()
  return x*x + y*y < 1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
sc.stop()

输出:3.14160028