gpt4 book ai didi

configuration - Hadoop:从 HDFS 映射/归约

转载 作者:可可西里 更新时间:2023-11-01 16:27:32 26 4
gpt4 key购买 nike

我可能错了,但我见过的所有(?)Apache Hadoop 示例都将存储在本地文件系统上的文件作为输入(例如 org.apache.hadoop.examples.Grep)

有没有办法在 Hadoop 文件系统 (HDFS) 上加载和保存数据?例如,我使用 hadoop-0.19.1/bin/hadoop dfs -put ~/local.xls stored.xls 在 HDFS 上放置了一个名为“stored.xls”的制表符分隔文件。我应该如何配置 JobConf 来读取它?

谢谢。

最佳答案

JobConf conf = new JobConf(getConf(), ...);...FileInputFormat.setInputPaths(conf, new Path("stored.xls"))...JobClient.runJob(conf);...

setInputPaths 会做到这一点。

关于configuration - Hadoop:从 HDFS 映射/归约,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/787295/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com