- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在将一些 map-reduce 代码迁移到 Spark 中,并且在构造 Iterable 以在函数中返回时遇到问题。在 MR 代码中,我有一个按键分组的 reduce 函数,然后(使用 multipleOutputs)将迭代值并使用 write(在多个输出中,但这并不重要)像这样的代码(简化):
reduce(Key key, Iterable<Text> values) {
// ... some code
for (Text xml: values) {
multipleOutputs.write(key, val, directory);
}
}
但是,在 Spark 中,我已经翻译了一个 map ,并将其归约为以下序列: mapToPair -> groupByKey -> flatMap按照建议...在某本书中。
mapToPair 基本上通过 functionMap 添加一个 Key,它基于记录上的某些值为该记录创建一个 Key。有时一个键可能有很高的基数。
JavaPairRDD<Key, String> rddPaired = inputRDD.mapToPair(new PairFunction<String, Key, String>() {
public Tuple2<Key, String> call(String value) {
//...
return functionMap.call(value);
}
});
rddPaired 应用 RDD.groupByKey() 来获取 RDD 以提供给 flatMap 函数:
JavaPairRDD<Key, Iterable<String>> rddGrouped = rddPaired.groupByKey();
分组后,调用 flatMap 来执行reduce。这里,操作是一个转换:
public Iterable<String> call (Tuple2<Key, Iterable<String>> keyValue) {
// some code...
List<String> out = new ArrayList<String>();
if (someConditionOnKey) {
// do a logic
Grouper grouper = new Grouper();
for (String xml : keyValue._2()) {
// group in a separate class
grouper.add(xml);
}
// operation is now performed on the whole group
out.add(operation(grouper));
} else {
for (String xml : keyValue._2()) {
out.add(operation(xml));
}
return out;
}
}
它工作正常......没有太多记录的键。实际上,当具有很多值的键进入 reduce 的“else”时,它会因 OutOfMemory 而中断。
注意:我已经包括了“if”部分来解释我想产生的逻辑,但是当输入“else”时失败发生......因为当数据进入“else”时,通常意味着会有由于数据的性质,它具有更多的值(value)。
很明显,必须将所有分组值保留在“out”列表中,如果一个键有数百万条记录,它就不会扩展,因为它会将它们保存在内存中。我已经到了 OOM 发生的地步(是的,这是在执行上面的“操作”时要求内存 - 但没有给出。虽然这不是一个非常昂贵的内存操作)。
有什么方法可以避免这种情况以进行扩展吗?通过使用其他一些指令复制行为以更可扩展的方式达到相同的输出,或者能够将合并的值交给 Spark(就像我以前对 MR 所做的那样)...
最佳答案
在 flatMap
操作中做条件是低效的。您应该检查外部条件以创建 2 个不同的 RDD 并分别处理它们。
rddPaired.cache();
// groupFilterFunc will filter which items need grouping
JavaPairRDD<Key, Iterable<String>> rddGrouped = rddPaired.filter(groupFilterFunc).groupByKey();
// processGroupedValuesFunction should call `operation` on group of all values with the same key and return the result
rddGrouped.mapValues(processGroupedValuesFunction);
// nogroupFilterFunc will filter which items don't need grouping
JavaPairRDD<Key, Iterable<String>> rddNoGrouped = rddPaired.filter(nogroupFilterFunc);
// processNoGroupedValuesFunction2 should call `operation` on a single value and return the result
rddNoGrouped.mapValues(processNoGroupedValuesFunction2);
关于java - Spark flatMap/减少 : How to scale and avoid OutOfMemory?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38312142/
我正在尝试将网页内容打印到一页纸上。但是,它将内容分成 2 页,所以我在这里做了一些研究,看到有人推荐: #my_print_div{ width:940px; height:770px; page
我目前正在打印一些东西。我有一个动态页面,其中包含可变数量的 block 级元素。有些可能是 1 行,有些可能是 100 多行。 1text 1 line.... 2text 10 lines....
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 9
我正在训练一个 randomForest 模型,目的是保存它以进行预测(它将被下载并在外部上下文中使用)。我希望这个模型尽可能最小。 我读到有很多options和 packages减少模型的内存大小。
这个问题在这里已经有了答案: MySQL connection timeout (3 个答案) 关闭 9 年前。 我一直在尝试使用 Tomcat 的 native 连接池功能来避免我的 Java W
我正在使用 Phonegap/Cordova 开发 Android 应用程序。我已经按照这样的百分比安排了我的布局(在 CSS 中): 标题 - 50px; Content_row1 - 30%(剩下
我正在编写一个插件,它将表情符号转换为特定站点文本 block 中的图像。简单的答案是使用正则表达式检测 innerHTML 上的触发文本并插入 img 标签,然后将字符串通过管道返回到 innerH
如何避免在我的 Drupal View 上重复? 我应该添加一个过滤器,指定特定字段(即用户 ID)不应出现两次吗?我找不到这样的选项 看法 http://dl.dropbox.com/u/72686
感谢您查看我的 typescript 问题。 为简单起见,我对 typescript “过度属性检查”行为有疑问。我想确保 TypeScript 不接受具有额外属性的对象。 在我的简单界面示例中,OF
我发现对于某些图表,我从 Prometheus 获得了 doubles 值,其中应该只是一个: 我使用的查询: increase(signups_count[4m]) 抓取间隔设置为 recommen
假设我正在运行N个线程。 每个线程都需要与下一个和上一个同步。 for (i = 0 ; i < NITER; i++){ do_something (); sync_
如今,服务器虚拟化是一件大事,所以我的任务是在虚拟化服务器上安装我们的一些软件,看看会发生什么。长话短说:rsync 传输会立即使虚拟化服务器崩溃。虚拟化主机是一台强大的机器,没有其他负载;我认为
以下正则表达式在应用于大型 html 页面时会创建 StackOverflowError: (.|\s)*? 我的假设是,这是由于逻辑“OR”运算符(|)在匹配器中创建了递归调用,并且由于需要解析的
我在运行时使用表达式树构建委托(delegate): Type type = GetType(); ParameterExpression parameterType = Expression.Par
我正在使用 scikit-learn TfidfVectorizer 找出两个文档中最重要的单词。每个文档大小为 1.9GB(约 9000 万字),并且已采用小写、词干化(使用 nltk.stem.p
我进行了一个中间件调用来获取 String 数组,如下所示: String[] freqwords = MViewer.getWordNames(); 问题是可能没有可用数据,因此任何进一步的操作(如
在 JavaFx 中,我使用以下代码创建一个 StackedBarChart: String[] ACTIVITIES = new String[10]{ ... };// there
我正在尝试制作一个使用类 AnimationTimer 来处理它的游戏。我的代码摘要如下所示: 主类 object Game extends JFXApp{ def showMenu{
我正在用不同的步骤创建一个小的 javascript/jQuery 应用程序。为此,我使用了一个具有不同功能的 js 文件。 在文件的顶部我调用了我的第一个函数。在我的第一个函数中,我在单击按钮时调用
我正在使用表格 View 来显示从服务器加载的文本字段数组,所以我有一个表格 View 字段列表,当我填充这些数据字段并向下滚动以填充其他字段时,当我再次向上滚动时,我发现值发生变化并且存在重复值 -
我是一名优秀的程序员,十分优秀!