gpt4 book ai didi

xml - 改变 mapred.reduce.tasks

转载 作者:可可西里 更新时间:2023-11-01 16:30:55 24 4
gpt4 key购买 nike

我应该在哪个文件中设置reducer的数量和设置mapred.reduce.tasks参数?

我的 conf 文件夹中只有以下文件,没有一个有这个参数:

ubuntu@group-3-vm1:~/conf$ ls
capacity-scheduler.xml hdfs-site.xml mapred-site.xml yarn-site.xml
core-site.xml hive-site.xml tez-site.xml

最佳答案

所有 Hadoop 配置属性都分为以下几组。

Hadoop-1.X.X:

  1. 核心 - core-site.xml
  2. hdfs - hdfs-site.xml
  3. mapred - mapred-site.xml

Hadoop-2.X.X

  1. 核心 - core-site.xml
  2. hdfs - hdfs-site.xml
  3. mapreduce - mapred-site.xml
  4. yarn - yarn-site.xml

所以你想改变 reducer 的数量,即 mapred.reduce.tasks。您必须将此参数保存在 'mapred-site.xml' 文件中。

关于xml - 改变 mapred.reduce.tasks,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32684973/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com