apache-spark - 在 spark 中对大量数据运行 reduceByKey

Question

我在 spark 中运行 reduceByKey。我的程序是spark最简单的例子:

val counts = textFile.flatMap(line => line.split(" ")).repartition(20000).
                 .map(word => (word, 1))
                 .reduceByKey(_ + _, 10000)
counts.saveAsTextFile("hdfs://...")

但它总是耗尽内存......

我使用了 50 台服务器，每台服务器 35 个执行程序，每台服务器 140GB 内存。

文件量是:
8TB文档，200亿文档，共10000亿字。
而reduce后的字数将在1亿左右。

我想知道如何设置spark的配置？

我想知道这些参数应该是什么值？

1. the number of the maps ? 20000 for example?
2. the number of the reduces ? 10000 for example?
3. others parameters?

Answer 1

如果您发布日志会很有帮助，但一种选择是在读取初始文本文件(例如 sc.textFile(path, 200000) )时指定更多分区，而不是在读取后重新分区。另一个重要的事情是确保您的输入文件是可拆分的(某些压缩选项使其不可拆分，在这种情况下，Spark 可能必须在单台机器上读取它，从而导致 OOM)。

其他一些选项是，由于您没有缓存任何数据，因此会减少 Spark 为缓存预留的内存量(使用 spark.storage.memoryFraction 控制)，而且因为您只使用字符串元组 I' d 推荐使用 org.apache.spark.serializer.
KryoSerializer序列化器。