hadoop - Hadoop如何将程序和数据放在一起？

Question

It's difficult to tell what is being asked here. This question is ambiguous, vague, incomplete, overly broad, or rhetorical and cannot be reasonably answered in its current form. For help clarifying this question so that it can be reopened, visit the help center。




7年前关闭。




我是新来的Hadoop。我一直在阅读有关Hadoop的文档，但始终对此问题感到困惑。 Hadoop如何与程序和数据相关联。 Hadoop将数据放入HDFS中，并创建副本。用户可以控制哪个节点保存哪些数据吗？ (即使他/她可以，用户是否也需要关心这一点？)当mapreduce程序启动时，Hadoop如何将程序和数据放在一起？它应尽量避免在节点之间进行任何不必要的数据传输。那么它将程序(例如，映射器)加载到包含数据的节点上吗？如果是这种情况，那么一个映射器的输入数据太大而存储在多个节点上该怎么办？ Hadoop是否可以智能地在所有这些节点上使用映射器？

最佳答案

不，用户无法真正控制数据的存储位置。

不，用户也不必在意。

Hadoop按照本地主机->同一机架->数据中心的顺序选择最接近映射器的数据节点。

是的，它尝试首先从本地主机获取数据。

这取决于您应该了解“输入拆分”和“HDFS块”的含义。 HDFS上的单个文件可以拆分为多个HDFS块，因此可以驻留在多个数据节点上。根据定义，映射器的输入为，彼此独立，因此，即使文件在中间被分割并且几个映射器占用了文件的一部分(例如，例如在换行符处分割)，程序也应该产生相同的结果输出。 Hadoop尝试获取一个靠近映射器位置的数据块，这可能意味着一个文件或文件的一部分。由于复制了HDFS，来自多个不同文件的块可能驻留在映射器的datanode上，因此它有一个不错的选择。

参见项目符号5，但几乎是肯定的-Hadoop运行mapper的“close”数据，或至少尝试这样做。

关于hadoop - Hadoop如何将程序和数据放在一起？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16046508/

上一篇：java - 在Hadoop上使用Jar文件运行Java代码

下一篇：java - 在化简程序代码中以编程方式停止作业

相关文章：

java - 在 Windows 上使用 Hadoop 2.6.0 提交作业时出错

performance - Spark 本地 vs hdfs 性能

hadoop - 启动我的 hadoop 名称节点时出错

hadoop - org.apache.hadoop.mapreduce.Job 的所有三个构造函数都已弃用，构造 Job 类的最佳方法是什么？

Hadoop 命令行 -D 选项不起作用

Hadoop Streaming Job 与 Hadoop 管道作业

linux - 获取创建日期大于某个日期 linux 的文件列表

powershell - JWT token 的安全 token 验证错误 -- HDInsight

hadoop - 了解TextInputFormat

hadoop - 如何以mapReduce方式建立Lucene索引？

Answer 1

不，用户无法真正控制数据的存储位置。

不，用户也不必在意。

Hadoop按照本地主机->同一机架->数据中心的顺序选择最接近映射器的数据节点。

是的，它尝试首先从本地主机获取数据。

这取决于您应该了解“输入拆分”和“HDFS块”的含义。 HDFS上的单个文件可以拆分为多个HDFS块，因此可以驻留在多个数据节点上。根据定义，映射器的输入为，彼此独立，因此，即使文件在中间被分割并且几个映射器占用了文件的一部分(例如，例如在换行符处分割)，程序也应该产生相同的结果输出。 Hadoop尝试获取一个靠近映射器位置的数据块，这可能意味着一个文件或文件的一部分。由于复制了HDFS，来自多个不同文件的块可能驻留在映射器的datanode上，因此它有一个不错的选择。

参见项目符号5，但几乎是肯定的-Hadoop运行mapper的“close”数据，或至少尝试这样做。