个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
在Hadoop中，JobTracker是否可以知道每个ReduceTask在实际数据移动之前必须检索多少个数据(在混洗阶段)？我正在尝试收集有关混洗阶段中数据移动的统计信息。
最佳答案
简而言之:它是否知道-也许会使用此信息-不。
根据mapred.reduce.slowstart.completed.maps配置属性的配置，可以在大多数映射任务完成之前启动reduce任务，因此，在调度reduce任务时，调度程序实现不会考虑此信息。
也许实现您自己的调度程序，您可以从一些计数器统计信息中检索此信息，但是您必须深入研究源代码，我不确定您是否可以访问计数器。
作为替代方案，您是否可以不使用map / reduce计数器和/或日志来进行任务尝试(也许任务跟踪器也记录日志)？
关于hadoop - 在实际数据传输之前，JobTRacker是否知道在混洗阶段向每个reduce任务传输了多少数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11319558/
24
4
0
我在笔记本电脑上以伪分布式模式运行 hadoop-1.1.2。我能够运行一个简单的 WordCount 程序，读取和写回 HDFS。我还可以看到 JobTracker 在 http://localho
当我启动 Hadoop 时，除了 JobTracker 以外的所有东西都会启动(tasktracker、namenode、datanode、secondarynamenode)。 在 JobTrack
我已经在伪分布式模式下配置了 hadoop 1.0.4。一切都很好，我可以将本地文件放入 HDFS 并运行 wordcount 任务。但是我无法通过 localhost:50030 访问 jobtra
我是 hadoop 的新手，我试图了解是否可以连接到远程或本地 jobtracker，我需要这个，因为我想确定 Hadoop 当前正在执行的任务，我正在尝试我发现的这个示例: public class
我们有一个小的Hadoop集群，其中JobTracker配置为动态(从一个节点移动到另一个节点)。我们希望通过通用的WebUI(Hadoop MapReduce Job Tracker)而不是通过命令
我在Ubuntu上运行CDH5。我已经安装了所有需要的东西，但是当我输入sudo jps时，不会显示jobtracker。这是我在mapred-site.xml上的配置 mapred.job.trac
Hadoop启动时遇到错误。以下是JobTracker的日志信息: 2015-06-03 09:38:26,106 WARN org.apache.hadoop.hdfs.DFSClient: Dat
如 Hadoop 权威指南中所述，在提交 MR 作业期间，会计算输入拆分，然后将其复制到 JobTracker 的文件系统。但是，如果数据真的很大，这对我来说没有意义。这个副本会花费很多时间，而且，如
当我发出命令时 for service in /etc/init.d/hadoop* >do >sudo $service stop >done its stops all the service 当
我阅读了有关 Apache Hadoop 的信息。他们说在HDFS中，任务是任意进程，即mapper或者reducer。他们一起称为工作。 它们有两个东西，JOBTRACKER 和 TASKTRACK
我在我们的 hadoop jobtracker 日志中看到了很多这样的错误，任何人都可以对此有所了解吗？集群是 CDH4.2，带有单个 jobtracker 和 MRV1。这是错误: 2014-05-
我使用 hadoop 0.20.0 在 4 个节点的集群上运行一个程序。但是，当我查看jobtracker:50030时，发现hadoop jobtrcker显示reducer进度条无法达到100%，
当我使用 sqoop 将数据从 mysql 传输到 cassandra 时，出现如标题的错误。 dse sqoop import --connect jdbc:mysql:///Turkgen --u
以下是我对 InputSplits 及其与映射器的交互的理解...如果我在某处有误，请纠正我... InputFormat 生成 InputSplits，并为每个 inputsplit 生成一个映射任
我可以启动 namenode 和辅助 namenode，但无法启动 jobtracker 和 tasktracker。 当我检查日志时，它显示这样的内容 ***********************
我正在尝试运行 Wordcount 示例，但我遇到了这样的问题: 13/12/01 19:46:49 ERROR security.UserGroupInformation: PriviledgedA
我已经成功安装了 ubuntu 12.04 和 hadoop 2.3.0。 输入jps命令后，我发现输出如下 4135 jps 2582 SeconadaryNameNode 3143 NodeMan
实际上我安装并配置了我的hadoop单集群 http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cl
我知道这一定很简单，但我不知道如何获取 Hadoop JobTracker 的实例。在意识到我不能调用它的任何构造函数后，我试图在提交作业后像这样实例化它: JobClient client =
Hadoop 2.2.0 似乎没有jobtracker。 JPS不显示，50030端口无人监听，logs文件夹下也没有jobtracker的日志。这是因为 YARN 吗？如何配置和启 Action 业
我是一名优秀的程序员,十分优秀！