gpt4 book ai didi

apache-spark - 为spark master指定local[n1,n2,n3]时,三个参数是什么?

转载 作者:行者123 更新时间:2023-12-03 07:08:36 25 4
gpt4 key购买 nike

对于启动 Spark,我已经看到:

--master local[n1,n2,n3] 

其中 n1、n2 和 n3 是整数。

这些指的是什么?

最佳答案

主规范在 SparkContext.createTaskScheduler 中解析。 (请参阅实现的链接。)local 的可能性是:

  • local 使用 1 个线程。
  • local[N] 使用 N 个线程。
  • local[*] 使用与内核一样多的线程。
  • local[N, M]local[*, M] 与上面类似,但将最大任务失败次数设置为 M。这允许您在以下情况下启用重试:本地运行。 (通常本地重试是被禁用的。启用它们对于测试很有用。)
  • local-cluster[numSlaves, coresPerSlave, memoryPerSlave] 按照配置在单独的进程中启动执行程序,但不需要运行工作线程和主线程。这是在单元测试中模拟集群的一种轻量级方法。 (另请参阅SPARK-595。)

关于apache-spark - 为spark master指定local[n1,n2,n3]时,三个参数是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29995938/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com