- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试了解某些事情在 Spark 中是如何工作的。在示例中如 http://spark.apache.org/docs/latest/programming-guide.html#understanding-closures-a-nameclosureslinka
表示代码将对 RDD 中的值求和并将其存储在计数器中,但这里不是这种情况,因为它不起作用。只有当您删除 paralelize 时,它才会起作用。
有人可以向我解释一下这是如何工作的吗?还是例子有误?
谢谢
val data = Array(1,2,3,4,5)
var counter = 0
var rdd = sc.parallelize(data)
// Wrong: Don't do this!!
rdd.foreach(x => counter += x)
println("Counter value: " + counter)
最佳答案
打个比方,上面提供的解释是绝对正确的,让我深入解释一下 ->
让我们假设我们正在一个具有单个工作节点和执行器的节点上工作,并且我们在 RDD 上使用 foreach 来计算 RDD 中的元素数量。正如我们所知,我们在单个节点上,因此数据不会被分发,并且将保持单一身份,因此计数变量(闭包 -> 这些类型的变量称为闭包)将为每个元素计数,并且此更新将是每当发生增量时,每次都会发送给执行器,然后执行器将闭包提交给驱动程序节点。
Drivernode -> executor 和 driver 将驻留在单个节点上,因此驱动节点的计数变量将在执行节点的范围内,因此将更新驱动节点计数变量值。
我们已经从驱动程序节点而非执行程序节点获得了结果计数值。
Executor -> closure -> data
现在假设我们在集群环境中工作,假设有 2 个节点和 2 个 worker 和 executor。现在数据将被分成几个部分,因此 ->
Data -> Data_1, Data_2
Drivernode -> 在不同的节点上有它的计数变量,但对 Executor 1 和 Executor 2 不可见,因为它们驻留在不同的节点上,因此 executor1 和 executor2 无法更新驱动程序节点的 count 变量
Executor1-> processing(Data_1) with closure_1
Executor2-> processing(Data_1) with closure_2
闭包 1 将更新执行器 1,因为它可序列化为执行器 1,类似地,闭包 2 将更新执行器 2
为了解决这种情况,我们像这样使用 Accumulator:
val counter=sc.accumulator(0)
关于scala - 了解 Spark 中的闭包和并行性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32945165/
以下闭包函数在 javascript 中运行良好。 function generateNextNumber(startNumber) { var current = startNumber;
Swift的闭包(Closures)是一种将功能块和上下文整合并演示在代码中的一种手段。闭包可以捕获并存储其上下文中的变量和常量。与普遍存在于其他语言的匿名函数(如Python的lambda、Java
在本教程中,您将借助示例了解 JavaScript 闭包。 在了解闭包之前,您需要了解两个概念: 嵌套函数 返回函数 JavaScript 嵌套函数 在 JavaScript 中,一个函数也可
在本教程中,您将借助示例了解 JavaScript 闭包。 在了解闭包之前,您需要了解两个概念: 嵌套函数 返回函数 JavaScript 嵌套函数 在 JavaScript 中,一个函数也可
闭包介绍 闭包(closure)是Javascript语言的一个难点,也是它的特色,很多高级应用都要依靠闭包实现。 要理解闭包,首先必须理解Javascript特殊的变量作用域。 1.全局变量和局部变
这个问题已经有答案了: Methods in ES6 objects: using arrow functions (6 个回答) 已关闭 6 年前。 我已经在 stackoverflow 上到处查找
这个问题已经有答案了: How do JavaScript closures work? (86 个回答) 已关闭 9 年前。 我有一个关于 Javascript 闭包的简单问题: 给出了以下函数:
所以我有以下内容: Object a = data.getA(); Object b = data.getB(); Object c = data.getC(); // and so on 这些对象是
现在已经很晚了,我大脑中道格拉斯·克罗克福德居住的部分已经关闭。我尝试了一些方法,但没有达到预期效果。 我有一个 Canvas ,我在其中画了两条线,然后在计时器上淡出它们,但只有循环中的最后一行淡出
因此,我创建了一个变量 car,然后将其分配给一个函数并添加了参数模型、年份。然后在函数内引用参数创建一个对象。 然后创建“闭包”内部函数 yourCar() 并返回其中的外部函数对象“Propert
我正在 Mozilla 开发者网站上阅读关于关闭的解释,并且有点挣扎。请查看 Mozilla 网站上的以下代码。我有点理解它是如何工作的,但我认为我的评论下面的代码也应该工作。为什么一点击18、20就
这个问题在这里已经有了答案: UnboundLocalError trying to use a variable (supposed to be global) that is (re)assig
以下程序返回“本地”,根据我正在阅读的教程,它旨在演示闭包现象` 我不明白的是,为什么最后为了调用parentfunction,将其分配给变量“child”,然后调用“child”。 为什么只写 pa
我读到闭包末尾的()会立即执行。那么,这两者之间有什么区别。我在一些代码中看到了第一个用法。 谢谢。 for (var a=selectsomeobj(),i=0,len=a.length;i
代码如下 var collection = (function (){ var x = 0; return {
我仍然对 JavaScript 中的闭包概念感到困惑。我明白闭包是内部函数在母函数返回后访问在其母函数中创建的变量的能力。但是我仍然很困惑,如果我们可以在函数内部创建一个变量,为什么我们必须创建内部函
我搜索了很多主题并没有找到答案,或者问题太复杂了。所以没关系。这是我的第一个问题。 这是 SQL SELECT parent.*, ( SELECT COUNT(*) FROM
有 JS 高手可以解释为什么会这样吗: $$={} (function(x){ x.newModule = { func: function(){...} };
在此示例中,我尝试按值传递,但传递的是引用。 for (int i = 0; i new PhoneJobTest(i); t.Start(); } 这可以像这样补救: for (int
从 $.each() 中访问 this.rules 变量的最佳方式是什么?任何关于原因/方式的解释也会有帮助! app.Style = function(node) { this.style
我是一名优秀的程序员,十分优秀!