hadoop - DataNode 和 TaskTracker 在不同的机器上？

Question

我是 Hadoop 的新手，我有以下关于 Hadoop 框架的问题。有人可以指导吗？

1. DataNode 和 TaskTracker 是否物理上位于生产环境中的不同机器上？
2. Hadoop 何时将文件拆分为 block ？当您将文件从本地文件系统复制到 HDFS 时会发生这种情况吗？

Answer 1

简答

1. 大部分时间，但不一定。
2. 是。

长答案

1)

在集群上安装 Hadoop 将有 2 种主要类型的节点:

• 主节点
• 数据节点

主节点通常至少运行:

• CLDB
• 动物园管理员
• 工作追踪器

数据节点通常至少运行:

• 任务追踪器

The DataNode service can run on a different node than the TaskTracker service .然而，Hadoop Docs对于 DataNode 服务，建议在相同节点上运行 DataNode 和 TaskTracker 以便 MapReduce操作靠近数据执行。

对于MapR Hadoop 的分布，这两个服务器角色通常运行:

• MapR 控制节点
  • 动物园管理员 *
  • CLDB *
  • 工作追踪器 *
  • HBaseMaster
  • NFS 网关
  • 网络服务器
• MapR 数据节点
  • 任务跟踪器 *
  • RegionServer(有时)
  • 动物园管理员(有时)

2)

虽然大多数文件系统以 block 的形式存储数据，HDFS在 DataNodes 中分发和复制 block 。当您第一次将数据存储在 HDFS 中时，它会将数据分成 block 并根据指定的复制因子将其存储在不同的节点上。但是，如果您向集群添加新的 DataNode，它会 will not automatically rebalance old blocks across them除非不满足复制因子。

(感谢@javadba 澄清了这一点!)