gpt4 book ai didi

hadoop - 如何使Hadoop Map Reduce一次运行处理多个文件?

转载 作者:行者123 更新时间:2023-12-02 21:44:14 24 4
gpt4 key购买 nike

对于Hadoop Map Reduce程序,当我们运行该命令时,通过执行以下命令 $ hadoop jar my.jar DriverClass input1.txt hdfsDirectory 。如何使Map Reduce一次运行处理多个文件(input1.txt和input2.txt)?

最佳答案

像那样:

hadoop jar my.jar DriverClass hdfsInputDir hdfsOutputDir 

哪里
  • hdfsInputDir是HDFS上存储输入文件的路径(即input1.txtinput2.txt的父目录)
  • hdfsOutputDir是HDFS上将存储输出的路径(在运行此命令之前它不应该存在)。

  • 请注意,在运行此命令之前,应在HDFS上复制您的输入。
    要将其复制到HDFS,可以运行:
    hadoop dfs -copyFromLocal localPath hdfsInputDir

    关于hadoop - 如何使Hadoop Map Reduce一次运行处理多个文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26698250/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com