hadoop - Hadoop Standalone 和 Pseudodistributed 模式下的 DataFlow 区别？

Question

谁能告诉我 Hadoop Standalone 和 Pseudodistributed 模式的数据流有什么区别。事实上，我正在尝试运行 John Norstad 提出的矩阵乘法示例。它在 hadoop 独立模式下运行良好，但在伪分布式模式下无法正常工作。我无法解决问题，所以请告诉我 hadoop 独立模式和伪分布式模式之间的主要区别，这有助于解决所述问题。谢谢

请注意，

工作人员

Answer 1

在独立模式下，一切(namenode、datanode、tasktracker、jobtracker)都在一台机器上的一个 JVM 中运行。在伪分布式模式下，一切都在自己的 JVM 中运行，但仍在一台机器上。在客户端接口(interface)方面应该没有任何区别，但如果序列化要求在伪分布式模式下更严格，我不会感到惊讶。

我的上述推理是，在伪分布式模式下，所有内容都必须序列化才能在 JVM 之间传递数据。在独立模式下，并不是所有东西都必须序列化(因为所有东西都在一个 JVM 中，你有共享内存)，但我不记得代码是否是为了利用这一事实而编写的，因为那不是Hadoop 的一个正常用例。

编辑:鉴于您没有看到错误，我认为这听起来像是 MapReduce 作业编码方式的问题。也许他依赖于 reducer 之间的共享内存之类的东西？如果是这样，那将在独立模式下工作，但在伪分布式模式(或真正的分布式模式，就此而言)下不起作用。