hadoop - read data as "streaming fashion"是什么意思？

Question

我正在阅读 Apache Crunch documentation我发现了以下句子:

Data is read in from the filesystem in a streaming fashion, so there is no requirement for the contents of the PCollection to fit in memory for it to be read into the client using materialization.

我想知道以流式方式从文件系统读取是什么意思，如果有人能告诉我与其他读取数据的方式有什么区别，我将不胜感激。

我想说这个概念也适用于其他工具，例如 Spark。

Answer 1

假设您的文件系统上有一个英文文件，您需要将其翻译成德文。你基本上有两个选择。您可以将整个英文文件作为一大批加载到内存中，一次翻译整个批处理，然后将新的德文批处理写回文件系统。

或者您可以逐行进行。阅读英文第一行；翻译成德语并写入新文件；用英文阅读第二行并翻译成德文并附加到新文件中；等等。

后一种方法类似于 Apache Crunch 文档中描述的流方法。

PCollection 之于 Crunch 就像 RDD 之于 Spark —— 框架的基本分布式数据抽象，但 Crunch 在更高的抽象层次上运行。它试图为跨技术的数据管道提供一个很好的 API。

例如，您可能在 Hive 中拥有您的数据，您可以对其进行可靠的查询；这些查询的输出作为在 HBase 中存储数据的遗留 MapReduce 作业的输入；这些数据由 Spark 的 MLLib 机器学习库进行分析，结果最终发送给 Cassandra。 Crunch 试图通过 PCollection 抽象将所有这些连接在一起，但它的流式处理方法意味着您不必在下一个工作开始之前等待一个工作完成。与逐行文件翻译一样，您一次处理一点，然后将每一位移动到管道的每个阶段，而不是分批进行。

您说得对，流式处理的概念适用于像 Spark 这样的工具(最明显的是 Spark Streaming)，但正如我所提到的，Spark 的工作抽象级别低于 Crunch。 Spark 作业可能只是 Crunch 管道的一部分。但流式传输确实是一种强大的范例。它是 Kappa Architecture 的基础由 Jay Kreps(前身为 LinkedIn，现为 Confluent，先驱 Apache Kafka )设计，作为基于批处理的 Lambda Architecture 的更简单但更强大的替代方案由 Nathan Marz(前身为 Twitter)设计。

最后，选择是在抽象级别(Crunch 高于 Spark)和一次操作一批还是逐位操作之间做出选择。