gpt4 book ai didi

eclipse - Hadoop HDFS 存储位置

转载 作者:可可西里 更新时间:2023-11-01 16:33:18 27 4
gpt4 key购买 nike

我已经使用 Eclipse 使用单节点集群配置了 Hadoop。而且我有大量要解析的文本文件。Eclipse 提供了将文件直接上传到 HDFS 的功能,但我无法找到这些文件在我的驱动器中的确切存储位置。

我要找的是配置HDFS的位置。这样我就可以直接将我的文本文件粘贴到该文件夹​​中。

最佳答案

这是在dfs.datanode.data.dir属性中设置的,默认为file://${hadoop.tmp.dir}/dfs/data (详见 here)。

但是,您不能只将文件放在那里,因为 HDFS 不会自动发现它们。插入文件 HDFS 也涉及名称节点上的元数据操作。它不仅仅是复制文件那么简单。文件需要分成 block ,并且需要在名称节点中更新适当的元数据数据结构。您应该继续使用 Eclipse 提供的接口(interface)将文件上传到 HDFS,或者您可以在命令行中执行此操作(使用 hdfs dfs -put)。

关于eclipse - Hadoop HDFS 存储位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19242917/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com