gpt4 book ai didi

apache-spark - Kubernetes 上的 Spark

转载 作者:行者123 更新时间:2023-12-02 12:10:52 25 4
gpt4 key购买 nike

我在 kubernetes 中配置了如下 Spark。我按照此链接进行设置 -
https://testdriven.io/blog/deploying-spark-on-kubernetes/
enter image description here
在此配置中是否可以在集群模式下运行作业?还是只能用于本地开发?

最佳答案

是的你可以。并非所有功能都存在,因为它是实验性的,可以在此处查看更多详细信息以获得完整的配置和支持:Running Spark on Kubernetes
cluster mode

To launch Spark Pi in cluster mode:

$ ./bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=<spark-image> \
local:///path/to/examples.jar
添加有关在提交时如何使用和监控作业/应用程序的详细信息,并以以下开头: A Deeper Look At Spark-Submit您可以找到图表以及实际工作方式。也值得使用自定义图像检查此信息,但流程类似 kubernetes-spark-job

关于apache-spark - Kubernetes 上的 Spark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63146843/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com