gpt4 book ai didi

apache-spark - Spark pyspark 与 spark-submit

转载 作者:行者123 更新时间:2023-12-04 04:53:46 28 4
gpt4 key购买 nike

spark-submit 上的文档说明如下:

The spark-submit script in Spark’s bin directory is used to launch applications on a cluster.



关于 pyspark 它说如下:

You can also use bin/pyspark to launch an interactive Python shell.



这个问题可能听起来很愚蠢,但是当我运行命令时 pyspark它们也在“集群”上运行,对吗?它们不仅仅在主节点上运行,对吗?

最佳答案

这两者之间没有实际区别。如果未配置,否则两者都将在本地模式下执行代码。如果配置了master(通过--master命令行参数或spark.master配置)相应的集群将用于执行程序。

关于apache-spark - Spark pyspark 与 spark-submit,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36910014/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com