c# - 使用 C# 进行 Hadoop 流式处理

Question

我正在玩 HDInsight，但我不明白的是 Microsoft claim所有数据节点都在 CentOS 和 Java 上运行，您仍然可以 write Mapper/Reducer with .NET code ，这是因为 Hadoop Steaming。但这些文章中并不清楚 .NET 代码如何在 Linux 上运行(我认为这里不涉及 Mono)。有人能阐明 .NET 代码最终是如何在每个数据节点上运行的吗？

Answer 1

数据节点实际上并没有运行 CentOS。 HDInsight 中的所有节点都基于适用于 Windows 的 Hortonworks 数据平台 (HDP)。这意味着当您使用 HDInsight 时，您的任何流式传输程序实际上都在 Windows 上运行。

您提到的文章正在谈论(相当令人困惑!)关于在一系列 Azure VM 上将您自己的 Hadoop 设置为 IaaS 的替代模式。 HDInsight 消除了管理开销的需要(这是您为 VM 费用支付的费用)并提供 PaaS。

当然，没有什么可以阻止您在基于 Linux 的 Hadoop 上以单声道方式运行流式 MapReduce 和 C#，但您的情况可能会有所不同。