apache-spark - 如果数据为 10 gb 且 RAM 为 1gb，会将数据加载到内存中

Question

如果我有5个节点的集群，每个节点有1gb ram，现在如果我的数据文件是10gb 分布在所有 5 个节点中，假设每个节点中有 2gb，现在如果我触发

val rdd = sc.textFile("文件路径")

rdd.collect

将spark加载数据到ram中以及spark将如何处理这种情况它会立即拒绝还是会处理它。

Answer 1

让我们先理解你问的问题@intellect_dp，你有一个由 5 个节点组成的集群(这里的术语“节点”我假设机器通常包括硬盘、RAM、4 核 cpu 等)，现在 每个节点具有1 GB RAM，并且您有10 GB 的数据文件，其分布方式为，2GB 数据驻留在每个节点的硬盘中。这里假设您正在使用 HDFS，现在每个节点的 block 大小为 2GB。

现在让我们打破这个:

• 每个 block 大小 = 2GB
• 每个节点的 RAM 大小 = 1GB

由于 spark 中的延迟评估，只有当“Action API”被触发时，它才会将您的数据加载到 RAM 中并进一步执行。

这里你是说你正在使用“收集”作为一个 Action api。现在这里的问题是 RAM 大小小于您的 block 大小，如果您使用 spark 的所有默认配置(1 block = 1 partition)处理它并考虑到不会添加更多节点起来，那么在这种情况下，它会给你内存不足的异常。

现在的问题 - spark 是否可以通过给定类型的硬件配置来处理这种大数据？

答案 - 是的，首先你需要设置默认的最小分区:

val rdd = sc.textFile("文件路径",n)

这里 n 将是我默认的 block 的最小分区，现在我们只有 1gb 的 RAM，所以我们需要保持它小于 1gb，所以假设我们取 n = 4，现在你的 block 大小是 2gb， block 的最小分区是 4:

每个分区大小 = 2GB/4 = 500mb；

现在 spark 将首先处理这 500mb 并将其转换为 RDD，当下一个 500mb block 到来时，第一个 rdd 将溢出到硬盘(假定您已设置存储级别“MEMORY_AND_DISK_ONLY”).

通过这种方式，它将使用给定的集群硬件配置处理整个 10 GB 的数据文件。

现在我个人不会为这种情况推荐给定的硬件配置，因为它肯定会处理数据，但也有一些缺点:

• 首先会涉及到多个I/O操作，整个过程很慢。

• 其次，如果在读取或写入硬盘时出现任何滞后，您的整个工作将被丢弃，您会对这样的硬件配置感到沮丧。除此之外，您永远无法确定它会激发您的数据并在数据增加时能够给出结果。

所以尽量保持非常少的 I/O 操作，并且利用 spark 在内存中的计算能力，并添加更多资源以获得更快的性能。