- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我找到了一些在本地启动 Spark 的代码:
val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val ctx = new SparkContext(conf)
[*]
是什么意思?
最佳答案
来自 doc :
./bin/spark-shell --master local[2]
The
--master
option specifies the master URL for a distributed cluster, orlocal
to run locally with one thread, orlocal[N]
to run locally with N threads. You should start by using local for testing.
来自 here :
local[*]
Run Spark locally with as many worker threads as logical cores on your machine.
关于scala - setMaster `local[*]`在spark中是什么意思?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32356143/
我找到了一些在本地启动 Spark 的代码: val conf = new SparkConf().setAppName("test").setMaster("local[*]") val ctx =
因此,在开发 spark 程序时,我使用本地机器,因此必须将 Master 设置为“本地”。但是,当我提交从本地开发的程序构建的 jar 时,我显然不想使用“本地”模式。 如何在测试时使用 types
如果我有一个用 setMaster("local") 编译的 Spark 作业 (2.2.0) 如果我用 spark-submit --master yarn 发送那个作业会发生什么 --部署模式集群
如果我有一个用 setMaster("local") 编译的 Spark 作业 (2.2.0) 如果我用 spark-submit --master yarn 发送那个作业会发生什么 --部署模式集群
我是一名优秀的程序员,十分优秀!