hadoop - 对hadoop拆分工作方式的困惑

Question

我们是Hadoop的新手，我们意识到hadoop用于处理大数据，而笛卡尔产品的价格却非常昂贵。但是，我们进行了一些实验，在其中运行类似于MapReduce设计模式书籍中的笛卡尔乘积作业，不同之处在于使用化算器计算所有中间结果的平均值(仅包括A * B的上半部分，因此总计为A * B / 2)。
我们的设置:3个节点群集，块大小= 64M，我们测试了不同的数据集大小，范围从
5000点(130KB)至10000点(260KB)。

观察结果:

1-所有映射任务都在一个节点上运行，有时在主机上运行，​​有时在一个从属节点上运行，但从未在多台计算机上处​​理过，有没有办法强制hadoop在各个节点之间分配拆分，因此映射任务机器？根据hadoop的因素决定哪台机器将要处理 map task (在我们的情况下，一旦决定了主机，则决定了从机)。

2-在所有情况下，我们都在不同数据量上测试同一作业，我们将获得4个 map task 。数字4的来源是哪里？由于我们的数据大小小于块大小，为什么我们有4个拆分而不是1。

3-是否可以查看有关正在运行的作业的精确拆分的更多信息。

提前致谢

Answer 1

您正在使用哪个版本的Hadoop？我将假定使用YARN的更高版本。

1)Hadoop应该自动在您的集群之间分配 map task ，而不应使用任何特定节点。它将 map task 放置在尽可能靠近数据的位置，即它将选择一个NodeManager与托管块的DataNode放在同一主机上。如果没有这样的NodeManager，那么它将仅选择一个节点来运行您的任务。这意味着在启 Action 业时，您应该看到所有从属节点正在运行任务。可能还有其他因素阻止Hadoop使用节点，例如NodeManager出现故障，或者内存不足以在特定节点上启动JVM。

2)您的文件大小是否略高于64MB？即使超过67,108,864字节的一个字节也会产生两个分割。 CartesianInputFormat首先计算数据集中所有块的叉积。具有两个块的文件将创建四个分割-A1xB1，A1xB2，A2xB1，A2xB2。尝试使用较小的文件，看看是否仍然有四个分割。

3)您可以在ResourceManager的UI中看到正在运行的作业。 https://:8088将打开主页(MRv1的jobtracker-host:50030)，您可以从那里导航到正在运行的作业，这将使您看到正在运行的各个任务。如果您想更详细地了解输入格式的作用，请向CartesianInputFormat的getSplits方法添加一些日志语句，然后重新运行代码以查看发生了什么。