gpt4 book ai didi

java - 如何使用Java API将数据附加到HDFS中的现有文件?

转载 作者:行者123 更新时间:2023-12-02 21:07:48 26 4
gpt4 key购买 nike

我正在使用hadoop版本2.6.0,并尝试将数据追加到HDFS中的现有文件中,但似乎对我不起作用。这是我使用FileSystem.Append函数写入HDFS的方法。

HdfsIO hdfsIO = new HdfsIO(hdfsCoreSite,hdfsSite);
FileSystem fs = FileSystem.get(hdfsIO.getConfiguration());
FSDataOutputStream out = fs.append(new Path("/test_dir_10/append_data_to_this_file.txt"));
out.writeUTF("Append demo...");
fs.close();

Write()和create()函数可以很好地工作,但是append()函数却可以。
我收到此错误:

Failed to close file /test_dir_10/append_data_to_this_file.txt. Lease recovery is in progress. Try again later.



我也将此属性添加到hdsf-site.xml
<property> 
<name>dfs.support.append</name>
<value>true</value>
</property>

所以有人知道我想念什么或做错了什么吗?
谢谢。

最佳答案

通过在文件系统上运行解决了问题

hadoop dfs -setrep -R -w 2 /

关于java - 如何使用Java API将数据附加到HDFS中的现有文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41234349/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com