hadoop - SecondaryNamenode和MapReduce作业

Question

也许这是一个愚蠢的问题...但是无论如何...

我如何理解次要namenode做某事(我是说它起作用)，我必须配置它来做某事？

另外，MapReduce中的作业默认情况下是并行运行的，这意味着您在MR中编写的程序始终并行运行？

我提出这些问题是因为我必须证明(我有一个项目要做)hadoop上的作业并行运行。

预先谢谢你。

附注:对不起，我的英语不好，希望我能理解。

Answer 1

是的，在配置Hadoop时，您将某台机器的hostname放入/conf/masters中。这是您的SNN将运行的地方。您可以转到该计算机的终端并发出JPS。这将向您显示当前正在运行的所有Java处理。您应该能够看到SecondaryNameNode以及其他进程。像这样的东西:

apache@hadoop:~$ jps
21615 TaskTracker
21268 SecondaryNameNode
21014 DataNode
27656 HRegionServer
21362 JobTracker
19908 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
17643 Jps
27364 HMaster
28451 Main
27194 HQuorumPeer
29811 RunJar
20744 NameNode

要进行交叉检查，可以将其更改为其他计算机并查看效果。或者，您可以通过SNN端口检查它，默认情况下为50090。是否有意义？

并且，当您运行MR作业时，可以通过将Web浏览器指向 mapreduce webUI来打开 jobtracker_machine:50030。在这里，您可以看到正在运行(或先前已运行)的所有作业的列表，以及为特定作业创建的映射器/还原器的总数。您可以单击一个作业，它将显示您集群上当前正在运行的所有映射器和化简器。您可以在那里查看每个映射器/缩减器的进度。所有这些映射器/缩减器在不同的机器中并行运行。为了验证您可以单击每个映射器，它将向您显示该特定映射器/还原器在其中运行的机器以及每个映射器/还原器的完成百分比。

高温超导