java - 如何从 Spark 中的 Slaves 内存创建 RDD？

Question

我知道这听起来可能很傻，但是有什么方法可以从当前位于集群从属内存中的文件创建 RDD 吗？我知道要创建一个 RDD，我们必须指定存储文件的路径/hdfs 路径。但我很好奇我是否可以在 Java applications 之间复制对象并以相同的名称将对象直接放入奴隶的内存中，有没有办法用这些文件创建 RDD 和/或以分布式方式工作？提前致谢!

Answer 1

简短的回答是否定的。

“奴隶”根本不参与计算。只负责资源管理部分。

另一方面， worker 本身并不存在。它们与应用程序相关联，因此在它之外没有“当前状态”。

您可以做的是创建虚拟 RDD 并在对它们调用函数时加载一些对象。然而，这不应该与特定的物理主机相关联。虽然 Spark 对首选位置的提示有一些支持，但不能保证特定任务将在特定机器上处理，或者分配在不同评估中保持不变，即使在同一应用程序中也是如此。