gpt4 book ai didi

map - 什么是mapreduce中的job.get()和job.getBoolean()

转载 作者:行者123 更新时间:2023-12-02 20:11:14 24 4
gpt4 key购买 nike

我正在通过hadoop进行pdf文档聚类工作,因此我正在通过阅读Internet上的一些示例来学习mapreduce。

job.get("map.input.file")
job.getboolean()

这些函数的功能是什么?到底要在哪里设置map.input.file?还是仅仅是输入文件夹的名称?
如果有人知道,请发表答案。

有关代码,请参见以下链接
wordcount 2.0示例= http://hadoop.apache.org/docs/r1.0.4/mapred_tutorial.html

最佳答案

这些是作业配置。即一组配置,这些配置将传递给每个映射器和化简器。现在,这些配置由well defined mapreduce/hadoop related configurations以及用户定义的配置组成。

在您的情况下,map.input.file是预定义的配置,是的,它被设置为以逗号分隔的所有设置为输入路径的路径的列表。
wordcount.skip.patterns是根据用户输入设置的自定义配置,您可能会看到在run()中设置此配置,如下所示:

conf.setBoolean("wordcount.skip.patterns", true);

至于何时使用 get和何时使用 getBoolean,这应该是不言自明的,因为每当您要设置boolean类型的值时,都将分别使用 getBooleansetBoolean来获取和设置特定的配置值。同样,您也可以针对其他数据类型使用特定的方法。如果它是字符串,则可以使用 get()

关于map - 什么是mapreduce中的job.get()和job.getBoolean(),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15741844/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com