gpt4 book ai didi

hadoop - Mapreduce作业,它从多个文件中获取输入,并将输出显示为word(文件列表)

转载 作者:行者123 更新时间:2023-12-02 21:42:37 25 4
gpt4 key购买 nike

我是hadoop的新手,在这里我正尝试编写MR作业,该作业将从多个文件中获取输入,并将输出显示为word(文件列表),但是我无法获取文件名

  • 例如:hadoop [file1,file2,file3]
    配置单元[file2,file3]
  • 最佳答案

    这与“字数统计”程序非常相似。

    从 map 发射,

    Word,Filename

    要提取文件名,
    String fileName = ((FileSplit) context.getInputSplit()).getPath().getName();

    在减少中,

    默认情况下,您将获得按单词分组的文件名。您可以迭代并执行所需的操作。

    关于hadoop - Mapreduce作业,它从多个文件中获取输入,并将输出显示为word(文件列表),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27538433/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com