apache-spark - 我们需要启动spark来运行pyspark吗？

Question

这可能是一个新手问题。这是我的场景。

我在我的机器上安装了一个 Spark 。我还没有启动它(使用 sbin/start-all.sh 或来自 sbin 文件夹的任何其他脚本)。
然后我打开 pyspark(使用 bin/pyspark)，它启动时没有任何错误。
我尝试运行示例程序:

>>> var=sc.textFile('/home/rushikesh/sam.txt')
>>> var.count() 

它没有任何错误。

问题1:执行pyspark/spark-shell程序不需要spark运行吗？

问题2:还是只有Spark-submit需要spark才能启动？

如果我遗漏了什么，请澄清。

Answer 1

Pyspark 是 Spark 的 Python API，可让您结合 Python 的简单性和 Apache Spark 的强大功能，以驯服大数据。要使用 PySpark，您必须在您的机器上安装 python 和 Apache spark。在使用 pyspark 时，运行 pyspark 就足够了。

要在您的机器上本地运行 pyspark:

pyspark2 --master 本地 [*]

请参阅此链接以在 Windows 上安装 pyspark。
https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c