java - 如何在不使用collect函数的情况下有效地将rdd转换为list

Question

我们知道，如果我们需要将 RDD 转换为列表，那么我们应该使用 collect()。但是这个函数给驱动程序带来了很大的压力(因为它将来自不同执行程序的所有数据带到驱动程序)，这会导致性能下降或更糟(整个应用程序可能会失败)。

有没有其他方法可以在不使用 collect() 或 collectAsMap() 等而不会导致性能下降的情况下将 RDD 转换为任何 java util 集合？

基本上在当前我们在批处理或流数据处理中处理大量数据的场景中，collect() 和 collectAsMap() 等 API 在具有真实数据量的实际项目中变得完全无用。我们可以在演示代码中使用它，但这就是用于这些 API 的全部内容。那么为什么要有一个我们甚至不能使用的 API(或者我错过了什么)。

有没有更好的方法可以通过其他方法达到相同的结果，或者我们可以用比调用更有效的方式实现 collect() 和 collectAsMap()

List<String> myList= RDD.collect.toList (影响性能)

我查看了谷歌，但找不到任何有效的东西。如果有人有更好的方法，请提供帮助。

Answer 1

Is there any other way to convert RDD into any of the java util collection without using collect() or collectAsMap() etc which does not cause performance degrade?

不，也不可能。如果有这样的方法，collect 将首先使用它来实现。

好吧，从技术上讲，您可以在 RDD(或大部分？)之上实现 List 接口(interface)，但这是一个坏主意，而且毫无意义。

So why to have an API which we can not even use (Or am I missing something).

collect 旨在用于只有大 RDD 是输入或中间结果且输出足够小的情况。如果这不是您的情况，请改用 foreach 或其他操作。