- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
一些来源将 RDD 默认描述为“短暂的”(例如 this s/o answer )——这意味着除非我们对它们调用 cache() 或 persist() ,否则它们不会保留在内存中。
假设我们的程序涉及一个临时(用户未显式缓存)RDD,该 RDD 用于导致 RDD 实现的一些操作。我的问题是:Spark 是否会立即丢弃物化临时 RDD——或者 RDD 是否可能保留在内存中以进行其他操作,即使我们从未要求它这样做被缓存?
此外,如果临时 RDD 保留在内存中,是否总是只是因为某些 LRU 策略尚未将其踢出——或者也可能是因为调度优化?
我尝试用下面的代码来解决这个问题 - 在 4 核机器上使用带有 python 3.5 和 Spark 1.6.0 的 Jupyter 笔记本运行 - 但我希望得到知道的人的回答当然。
import pyspark
sc = pyspark.SparkContext()
N = 1000000 # size of dataset
THRESHOLD = 100 # some constant
def f():
""" do not chache """
rdd = sc.parallelize(range(N))
for i in range(10):
print(rdd.filter(lambda x: x > i * THRESHOLD).count())
def g():
""" cache """
rdd = sc.parallelize(range(N)).cache()
for i in range(10):
print(rdd.filter(lambda x: x > i * THRESHOLD).count())
对于上面的两个函数,f() 不会要求 rdd 持久化 - 但 g() 在开始时会这样做。当我对 foo() 和 boo() 这两个函数进行计时时,我得到了两个函数非常相似的性能,就好像 cache() 调用没有产生任何区别一样。(事实上,使用缓存的速度更慢)。
%%timeit
f()
> 1 loops, best of 3: 2.19 s per loop
%%timeit
g()
> 1 loops, best of 3: 2.7 s per loop
实际上,即使修改 f() 以在 RDD 上调用 unpersist() 也不会改变任何事情。
def ff():
""" modified f() with explicit call to unpersist() """
rdd = sc.parallelize(range(N))
for i in range(10):
rdd.unpersist()
print(rdd.filter(lambda x: x > i * THRESHOLD).count())
%%timeit
ff()
> 1 loops, best of 3: 2.25 s per loop
unpersist() 的文档指出,它“将 RDD 标记为非持久性的,并从内存和磁盘中删除它的所有 block ”。但事实真的如此吗?或者当 Spark 知道它将在以后使用 RDD 时,它会忽略对 unpersist 的调用吗?
最佳答案
这里的缓 stub 本没有值(value)。从范围
创建RDD
非常便宜(每个分区只需要两个整数即可开始),并且您应用的操作无法真正从缓存中受益。 persist
应用于 Java 对象而不是 Python 对象,并且您的代码在 RDD 创建和第一次转换之间不执行任何工作。
即使您忽略所有这些,这也是一项非常简单的任务,数据量很小。总成本很可能是由日程安排和沟通决定的,而不是其他因素。
如果您想查看缓存的实际效果,请考虑以下示例:
from pyspark import SparkContext
import time
def f(x):
time.sleep(1)
return x
sc = SparkContext("local[5]")
rdd = sc.parallelize(range(50), 5).map(f)
rdd.cache()
%time rdd.count() # First run, no data cached ~10 s
## CPU times: user 16 ms, sys: 4 ms, total: 20 ms
## Wall time: 11.4 s
## 50
%time rdd.count() # Second time, task results fetched from cache
## CPU times: user 12 ms, sys: 0 ns, total: 12 ms
## Wall time: 114 ms
## 50
rdd.unpersist() # Data unpersisted
%time rdd.count() # Results recomputed ~10s
## CPU times: user 16 ms, sys: 0 ns, total: 16 ms
## Wall time: 10.1 s
## 50
虽然在像这样的简单情况下,持久行为在一般情况下是可以预测的,但缓存应该被视为一种提示而不是契约。任务输出可能会保留或不保留,具体取决于可用资源,并且可以在没有任何用户干预的情况下从缓存中逐出。
关于python - Spark 会立即丢弃临时 rdd 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36087490/
尝试使用集成到 QTCreator 的表单编辑器,但即使我将插件放入 QtCreator.app/Contents/MacOS/designer 也不会显示。不过,相同的 dylib 文件确实适用于独
在此代码示例中。 “this.method2();”之后会读到什么?在返回returnedValue之前会跳转到method2()吗? public int method1(int returnedV
我的项目有通过gradle配置的依赖项。我想添加以下依赖项: compile group: 'org.restlet.jse', name: 'org.restlet.ext.apispark', v
我将把我们基于 Windows 的客户管理软件移植到基于 Web 的软件。我发现 polymer 可能是一种选择。 但是,对于我们的使用,我们找不到 polymer 组件具有表格 View 、下拉菜单
我的项目文件夹 Project 中有一个文件夹,比如 ED 文件夹,当我在 Eclipse 中指定在哪里查找我写入的文件时 File file = new File("ED/text.txt"); e
这是奇怪的事情,这个有效: $('#box').css({"backgroundPosition": "0px 250px"}); 但这不起作用,它只是不改变位置: $('#box').animate
这个问题在这里已经有了答案: Why does OR 0 round numbers in Javascript? (3 个答案) 关闭 5 年前。 Mozilla JavaScript Guide
这个问题在这里已经有了答案: Is the function strcmpi in the C standard libary of ISO? (3 个答案) 关闭 8 年前。 我有一个问题,为什么
我目前使用的是共享主机方案,我不确定它使用的是哪个版本的 MySQL,但它似乎不支持 DATETIMEOFFSET 类型。 是否存在支持 DATETIMEOFFSET 的 MySQL 版本?或者有计划
研究 Seam 3,我发现 Seam Solder 允许将 @Named 注释应用于包 - 在这种情况下,该包中的所有 bean 都将自动命名,就好像它们符合条件一样@Named 他们自己。我没有看到
我知道 .append 偶尔会增加数组的容量并形成数组的新副本,但 .removeLast 会逆转这种情况并减少容量通过复制到一个新的更小的数组来改变数组? 最佳答案 否(或者至少如果是,则它是一个错
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
noexcept 函数说明符是否旨在 boost 性能,因为生成的对象中可能没有记录异常的代码,因此应尽可能将其添加到函数声明和定义中?我首先想到了可调用对象的包装器,其中 noexcept 可能会产
我正在使用 Angularjs 1.3.7,刚刚发现 Promise.all 在成功响应后不会更新 angularjs View ,而 $q.all 会。由于 Promises 包含在 native
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我正在编写一个玩具(物理)矢量库,并且遇到了 GHC 坚持认为函数应该具有 Integer 的问题。是他们的类型。我希望向量乘以向量以及标量(仅使用 * ),虽然这可以通过仅使用 Vector 来实现
PHP 的 mail() 函数发送邮件正常,但 Swiftmailer 的 Swift_MailTransport 不起作用! 这有效: mail('user@example.com', 'test
我尝试通过 php 脚本转储我的数据,但没有命令行。所以我用 this script 创建了我的 .sql 文件然后我尝试使用我的脚本: $link = mysql_connect($host, $u
使用 python 2.6.4 中的 sqlite3 标准库,以下查询在 sqlite3 命令行上运行良好: select segmentid, node_t, start, number,title
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我是一名优秀的程序员,十分优秀!